크롤링 << 이거 진짜 실력향상에 도움 많이됨

크롤링 << 이거 진짜 실력향상에 도움 많이됨앱에서 작성

프갤러(117.111) 2024.05.10 15:13:07

조회 126 추천 1 댓글 3

1. 스크랩핑한 데이터에 맞게끔 테이블을 짜야하는데 결국 완성하게되면 해당 사이트와 비슷하게 테이블을 짜게 되어있음. 이게 도움 많이됨.

2. 동기적, 비동기적으로 크롤링을 하는데 두개 공부하기 딱 좋음

3. 대용량의 데이터를 다루기 때문에 얼만큼 끊어서 일괄 저장할지 , 이미지 최적화는 어떻게하고 임시 파일로 저장했다가 한꺼번이 처리할지 등등 연습하기 좋음

4. 크롤링은 주기적으로 실행하는편이니깐 크론에 대해서 실습하기 좋음

5. 만약 해당 사이트의 셀렉터 구조가 바뀌어서 다시 코드 짜야할때 굉장히 번거로운데 이때 테스트 코드 작성하는 방법을 배울 수 있음. 개별로 테스트 케이스 만들어놨다가 실패하는 케이스만 골라서 처리 하면됨

6. 공식문서 참고를 많이하게됨. 관련강의 자체도 거의 없을뿐더러 있어도 셀레니움같은 틀딱 라이브러리씀. gpt도 병신같이짜줘서 공식문서 보는 습관 들이기 편함

7. 자동화 프로그램이다 보니 클린코드를 지향하게됨. 이거도 도움 많이됨

ㄹㅇ 공부할거면 크롤링해라

- dc official App

고정닉 0

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	어떤 상황이 닥쳐도 지갑 절대 안 열 것 같은 스타는?	운영자	24/05/20	-	-
2700277	나 비개발자고, 비개발 구멍가게 ㅈ소 다니는데 [3]	딱지(210.183)	05.24	74	0
2700276	Gpt는 쓸줄만알면 마법의 물건임 [4]	ㅇㅇ(112.150)	05.24	64	0
2700275	전공자 부트캠프 갈 곳이 없네 쩝...	딘퐁	05.24	42	0
2700274	신입 뽑긴함 ㅇㅅㅇ	류류(118.235)	05.24	48	0
2700273	GPT 간과하는 게 개발 회사 아닌 일반 회사들은 [3]	딱지(210.183)	05.24	62	0
2700272	GPT4로 생산성이 드라마틱하게 오르진 않던데 [2]	프갤러(172.226)	05.24	54	0
2700268	평균 신입 실력이 어느정도임? [5]	프갤러(172.226)	05.24	113	0
2700267	RxFramework로 넘어와라	프갤러(121.172)	05.24	33	1
2700265	윈도우특) hiDPI 병신같아서 글자 구리게 보임 [1]	섹보	05.24	30	0
2700264	본인 국비학원 수료한지 8개월짼데 아직도 취업못함 [5]	ㅅㅂ(211.36)	05.24	108	1
2700263	학원알바들이 프로그래밍 커뮤니티에 글 엄청 싸고 다니는듯 [3]	프갤러(103.212)	05.24	98	4
2700262	맥써도 가상머신으로 윈도우 돌림	♥순수퓨어냥덩♥	05.24	33	0
2700261	토익스피킹 IM1 이력서에 쓰는거임? 안쓰는거임? [3]	딘퐁	05.24	39	0
2700260	기술 스택에 RxFramework	프갤러(121.172)	05.24	30	1
2700259	대기업 si는 포기하고 중견기업si가고 싶은데 [7]	딘퐁	05.24	128	0
2700258	스프링은 왤케 일자리가 많음? [3]	프갤러(211.234)	05.24	102	0
2700255	나도 이제 개인사업 아이디어 준비중임 [1]	ㅇㅇ(211.36)	05.24	53	0
2700254	맥 vs 윈도우	프갤러(121.172)	05.24	38	1
2700253	피자스쿨, 와플대학, 치킨대학 졸업, 국비수료	프갤러(218.234)	05.24	27	0
2700252	감나라 배나라 일해라 절해라 쓰지마라 써라	프갤러(218.234)	05.24	24	0
2700251	제 인생에도 망가진 인생을 되돌릴 신의 한수가 있겠습니까??	ㅇㅇ(223.38)	05.24	23	0
2700250	에이전트화건 나발이건 일정 복잡도 이상가면 [12]	ㅇㅇ(118.235)	05.24	72	0
2700249	경력이 gpt쓰면 생산성 100배 올라가는데 [2]	ㅇㅇ(211.36)	05.24	91	0
2700248	맥쓰는 이유 [3]	ㅇㅇ(14.55)	05.24	55	0
2700247	지금 컴공 or 유사과 재학중인 애들 내가 조언하나 해준다. [1]	프갤러(211.234)	05.24	108	3
2700246	맥은 걍 개발 조무사인 프론트들이나 쓰는거아님? [1]	ㅇㅇ(106.101)	05.24	48	0
2700245	저기 아래 맥 신봉자 뭐임?? 좀 무서운데.. [2]	프갤러(211.202)	05.24	55	0
2700244	애초에 난 좆소에서 신입 뽑는거 자체가 이해가 안됨 [3]	ㅇㅇ(106.101)	05.24	97	0
2700243	신입 끊기고 고수 생산성 높아지먼	ㅇㅇ(14.55)	05.24	51	0
2700242	골빈 애들의 특징 [4]	프갤러(121.172)	05.24	148	1
2700241	개발쪽은 그나마 네트워크 엔지니어가 가망있을듯 [2]	ㅇㅇ(211.36)	05.24	94	0
2700240	맥 추천 좀 [3]	프갤러(211.41)	05.24	27	0
2700239	멍유 이새키 오늘 정처기 날인데 소식 없는 걸로 보아 [7]	딱지(210.183)	05.24	60	0
2700238	머리 좋으면 1인 스타트업도 무리없을거 같긴 함 ㅇㅅㅇ	ㅇㅇ(118.235)	05.24	43	1
2700237	앞으로 개발시장은 이렇게 될거임 [3]	ㅇㅇ(112.150)	05.24	107	2
2700236	8090포트 충돌일어난거같은데 어케해결함? [2]	ㅇㅇ	05.24	40	0
2700235	지금 코딩공부 뇌절삼절 하는애들은 다 대체된다 [3]	ㅇㅇ(106.101)	05.24	97	0
2700234	스프링 공부하려는데 프론트앤드 공부 없이 [3]	프갤러(39.121)	05.24	52	0
2700233	윈도우 = 호환지킬려고 80~90대 노인네도 살수있게함	프갤러(61.97)	05.24	19	0
2700232	윈도우에서 프로그래밍 하지마세요	프갤러(61.97)	05.24	19	0
2700230	윈도우 = 호환성 지킬려고 80~90대까지 일하게 시킴	프갤러(61.97)	05.24	16	0
2700229	윈도우 에서 코딩하고 인생이 망함	프갤러(61.97)	05.24	17	0
2700228	맥만 있으면 세상이 2배는 빨라짐	프갤러(61.97)	05.24	23	0
2700227	하 맥에서 잘돌아가는데 윈도우에서 안돌아가네	프갤러(61.97)	05.24	16	0
2700226	윈도우 쓰는 사람은 그냥 툴키디죠	프갤러(61.97)	05.24	17	0
2700225	지금 국비 들어오는 사람은 1:1 대화해보고싶음	프갤러(115.23)	05.24	59	0
2700224	역시 잠은 8시간 이상 자여함	♥순수퓨어냥덩♥	05.24	29	0
2700223	윈도우같은 os는 세상에 나왔으면 안됨	프갤러(61.97)	05.24	12	0
2700222	강형욱씨 오늘도 완전 무반응이네요	ㅇㅇ(175.210)	05.24	25	0
2700221	윈도우의 죄악 arm의 발전을 늦춤	프갤러(61.97)	05.24	16	0