크롤링 << 이거 진짜 실력향상에 도움 많이됨

크롤링 << 이거 진짜 실력향상에 도움 많이됨앱에서 작성

프갤러(117.111) 2024.05.10 15:13:07

조회 124 추천 1 댓글 3

1. 스크랩핑한 데이터에 맞게끔 테이블을 짜야하는데 결국 완성하게되면 해당 사이트와 비슷하게 테이블을 짜게 되어있음. 이게 도움 많이됨.

2. 동기적, 비동기적으로 크롤링을 하는데 두개 공부하기 딱 좋음

3. 대용량의 데이터를 다루기 때문에 얼만큼 끊어서 일괄 저장할지 , 이미지 최적화는 어떻게하고 임시 파일로 저장했다가 한꺼번이 처리할지 등등 연습하기 좋음

4. 크롤링은 주기적으로 실행하는편이니깐 크론에 대해서 실습하기 좋음

5. 만약 해당 사이트의 셀렉터 구조가 바뀌어서 다시 코드 짜야할때 굉장히 번거로운데 이때 테스트 코드 작성하는 방법을 배울 수 있음. 개별로 테스트 케이스 만들어놨다가 실패하는 케이스만 골라서 처리 하면됨

6. 공식문서 참고를 많이하게됨. 관련강의 자체도 거의 없을뿐더러 있어도 셀레니움같은 틀딱 라이브러리씀. gpt도 병신같이짜줘서 공식문서 보는 습관 들이기 편함

7. 자동화 프로그램이다 보니 클린코드를 지향하게됨. 이거도 도움 많이됨

ㄹㅇ 공부할거면 크롤링해라

- dc official App

고정닉 0

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	어떤 상황이 닥쳐도 지갑 절대 안 열 것 같은 스타는?	운영자	24/05/20	-	-
2700254	맥 vs 윈도우	프갤러(121.172)	05.24	37	1
2700253	피자스쿨, 와플대학, 치킨대학 졸업, 국비수료	프갤러(218.234)	05.24	26	0
2700252	감나라 배나라 일해라 절해라 쓰지마라 써라	프갤러(218.234)	05.24	22	0
2700251	제 인생에도 망가진 인생을 되돌릴 신의 한수가 있겠습니까??	ㅇㅇ(223.38)	05.24	21	0
2700250	에이전트화건 나발이건 일정 복잡도 이상가면 [12]	ㅇㅇ(118.235)	05.24	71	0
2700249	경력이 gpt쓰면 생산성 100배 올라가는데 [2]	ㅇㅇ(211.36)	05.24	87	0
2700248	맥쓰는 이유 [3]	ㅇㅇ(14.55)	05.24	52	0
2700247	지금 컴공 or 유사과 재학중인 애들 내가 조언하나 해준다. [1]	프갤러(211.234)	05.24	106	3
2700246	맥은 걍 개발 조무사인 프론트들이나 쓰는거아님? [1]	ㅇㅇ(106.101)	05.24	45	0
2700245	저기 아래 맥 신봉자 뭐임?? 좀 무서운데.. [2]	프갤러(211.202)	05.24	53	0
2700244	애초에 난 좆소에서 신입 뽑는거 자체가 이해가 안됨 [3]	ㅇㅇ(106.101)	05.24	95	0
2700243	신입 끊기고 고수 생산성 높아지먼	ㅇㅇ(14.55)	05.24	50	0
2700242	골빈 애들의 특징 [4]	프갤러(121.172)	05.24	144	1
2700241	개발쪽은 그나마 네트워크 엔지니어가 가망있을듯 [2]	ㅇㅇ(211.36)	05.24	90	0
2700240	맥 추천 좀 [3]	프갤러(211.41)	05.24	26	0
2700239	멍유 이새키 오늘 정처기 날인데 소식 없는 걸로 보아 [7]	딱지(210.183)	05.24	57	0
2700238	머리 좋으면 1인 스타트업도 무리없을거 같긴 함 ㅇㅅㅇ	ㅇㅇ(118.235)	05.24	41	1
2700237	앞으로 개발시장은 이렇게 될거임 [3]	ㅇㅇ(112.150)	05.24	104	2
2700236	8090포트 충돌일어난거같은데 어케해결함? [2]	ㅇㅇ	05.24	38	0
2700235	지금 코딩공부 뇌절삼절 하는애들은 다 대체된다 [3]	ㅇㅇ(106.101)	05.24	95	0
2700234	스프링 공부하려는데 프론트앤드 공부 없이 [3]	프갤러(39.121)	05.24	50	0
2700233	윈도우 = 호환지킬려고 80~90대 노인네도 살수있게함	프갤러(61.97)	05.24	18	0
2700232	윈도우에서 프로그래밍 하지마세요	프갤러(61.97)	05.24	18	0
2700230	윈도우 = 호환성 지킬려고 80~90대까지 일하게 시킴	프갤러(61.97)	05.24	15	0
2700229	윈도우 에서 코딩하고 인생이 망함	프갤러(61.97)	05.24	15	0
2700228	맥만 있으면 세상이 2배는 빨라짐	프갤러(61.97)	05.24	21	0
2700227	하 맥에서 잘돌아가는데 윈도우에서 안돌아가네	프갤러(61.97)	05.24	14	0
2700226	윈도우 쓰는 사람은 그냥 툴키디죠	프갤러(61.97)	05.24	15	0
2700225	지금 국비 들어오는 사람은 1:1 대화해보고싶음	프갤러(115.23)	05.24	57	0
2700224	역시 잠은 8시간 이상 자여함	♥순수퓨어냥덩♥	05.24	28	0
2700223	윈도우같은 os는 세상에 나왔으면 안됨	프갤러(61.97)	05.24	12	0
2700222	강형욱씨 오늘도 완전 무반응이네요	ㅇㅇ(175.210)	05.24	23	0
2700221	윈도우의 죄악 arm의 발전을 늦춤	프갤러(61.97)	05.24	14	0
2700220	윈도우: 호환성 위해서 팔다리 다묶음	프갤러(61.97)	05.24	12	0
2700219	윈도우가 없어져야 x86 프로그램도 없어짐	프갤러(61.97)	05.24	14	0
2700218	윈도우 뭐이럼??	프갤러(61.97)	05.24	11	0
2700217	윈도우쓰지마세요 [1]	프갤러(61.97)	05.24	19	0
2700216	윈도우 배치파일 for 구문 질문 좀 [2]	프갤러(211.41)	05.24	45	0
2700215	반도체 발전시킬필요없음 arm 쓰면 2배 성능업	프갤러(61.97)	05.24	14	0
2700214	요즘 mz들은 맥북만씀	프갤러(61.97)	05.24	20	0
2700213	아직도 윈도우 쓰면 미개하다고 해야하나	프갤러(61.97)	05.24	13	0
2700212	사상최악의 os 윈도우	프갤러(61.97)	05.24	14	0
2700211	윈도우 지지한다? x86 카르텔	프갤러(61.97)	05.24	14	0
2700210	파이썬 원래 윈도우에서 느림?	섹보	05.24	30	0
2700209	Gpt 신형보면 걍 말이안됨 [1]	ㅇㅇ(112.150)	05.24	31	0
2700208	친구 만드는 법 강의좀 [2]	공기역학	05.24	29	0
2700207	형들 3.5랑 4랑 성능 천지차이인가요? [3]	ㅇㅇ(223.39)	05.24	34	0
2700206	Gpt 신형 나온거봐라 걍 개발 좆됨 ㅋㅋ [29]	프갤러(112.150)	05.24	460	9
2700205	광주 처음 와봄 ㅇㅅㅇ	아스카영원히사랑해	05.24	19	1
2700204	형님들 스샷 해당업무 궁금합니다.. [7]	ㅇㅇ(211.36)	05.24	44	0