크롤링 << 이거 진짜 실력향상에 도움 많이됨

크롤링 << 이거 진짜 실력향상에 도움 많이됨앱에서 작성

프갤러(117.111) 2024.05.10 15:13:07

조회 119 추천 1 댓글 3

1. 스크랩핑한 데이터에 맞게끔 테이블을 짜야하는데 결국 완성하게되면 해당 사이트와 비슷하게 테이블을 짜게 되어있음. 이게 도움 많이됨.

2. 동기적, 비동기적으로 크롤링을 하는데 두개 공부하기 딱 좋음

3. 대용량의 데이터를 다루기 때문에 얼만큼 끊어서 일괄 저장할지 , 이미지 최적화는 어떻게하고 임시 파일로 저장했다가 한꺼번이 처리할지 등등 연습하기 좋음

4. 크롤링은 주기적으로 실행하는편이니깐 크론에 대해서 실습하기 좋음

5. 만약 해당 사이트의 셀렉터 구조가 바뀌어서 다시 코드 짜야할때 굉장히 번거로운데 이때 테스트 코드 작성하는 방법을 배울 수 있음. 개별로 테스트 케이스 만들어놨다가 실패하는 케이스만 골라서 처리 하면됨

6. 공식문서 참고를 많이하게됨. 관련강의 자체도 거의 없을뿐더러 있어도 셀레니움같은 틀딱 라이브러리씀. gpt도 병신같이짜줘서 공식문서 보는 습관 들이기 편함

7. 자동화 프로그램이다 보니 클린코드를 지향하게됨. 이거도 도움 많이됨

ㄹㅇ 공부할거면 크롤링해라

- dc official App

고정닉 0

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	어떤 상황이 닥쳐도 지갑 절대 안 열 것 같은 스타는?	운영자	24/05/20	-	-
2699275	공부할때 지피티가 최강인듯	프갤러(180.68)	05.22	31	0
2699274	역대급 조회수	프갤러(121.172)	05.22	27	0
2699273	아니여기 왜캐 조현병이많냐 [3]	밀우	05.22	66	0
2699272	모티터암 카멜께 유명한것 같은데 싱글2개 vs 듀얼1개 뭐가 낳나요??	ㅇㅇ(123.213)	05.22	12	0
2699271	이펙티브자바 보는데 왜캐 어렵냐 [4]	프갤러(1.235)	05.22	50	0
2699270	'AI' + '취업난' 중에 구직희망자의 근황채널이 있네요.. [1]	+abcd3421	05.22	75	1
2699269	챗 GPT 미쳤는데... 헐. [3]	프갤러(121.172)	05.22	112	1
2699268	아니, 인공지능이 더 구린 코드를 짜고 있다?!	프갤러(121.172)	05.22	50	1
2699266	나는내향적이야	ㅇㅇ(223.39)	05.22	17	0
2699265	코테 앤간치 잘할려면 [4]	프갤러(180.68)	05.22	76	0
2699263	잠자리 마우스 사려는데 4k동글 필수로 사야함??	ㅇㅇ(123.213)	05.22	11	0
2699262	오예~~ 연봉 올랐다 [7]	cvs.	05.22	105	0
2699260	니들 뉴럴 네트워크가 뭔지 아냐?	프갤러(121.172)	05.22	33	1
2699259	코파일럿... 챗 GPT보다는 좀...	프갤러(121.172)	05.22	31	0
2699258	코파일럿은 코드를 감추고 있다!?	프갤러(121.172)	05.22	14	0
2699257	코파일럿한테 테트리스 코드 짜달라고 해봤다.	프갤러(121.172)	05.22	18	0
2699256	코파일럿 이미지 생성 왜케 못하냐 [1]	헬마스터	05.22	39	0
2699255	아 두통 오려는듯..	♥순수퓨어냥덩♥	05.22	20	0
2699253	r1이랑 f1이랑 뮤슨차이임?? 뭐가 더 좋은거임??	ㅇㅇ(123.213)	05.22	13	0
2699252	RxStore 다운로드 디자인 끝	프갤러(121.172)	05.22	39	1
2699251	앱개발자 포폴작성중인데 더 간결하게 적어야할까요? [30]	프갤러(58.124)	05.22	164	0
2699250	인텔맥북 리퍼 살까 생각중인데 별로임 ? [1]	프갤러(118.131)	05.22	27	0
2699249	일하는데 옆에서 10분마다 한 숨 쉬는 사람 어떰? [3]	프갤러(125.138)	05.22	49	0
2699247	노트북 램이랑 데스크탑 램이랑 속도나 사용량? 차이 많이 나나? [1]	프갤러(220.117)	05.22	19	0
2699245	필리핀 조혼 문화 [2]	프갤러(121.172)	05.22	54	0
2699243	g304 씨발 더블클릭 너무 화가나는데 무선마우스 뭐 없을까요 ㅇㅅㅇ [2]	ㅇㅇ(123.213)	05.22	20	0
2699242	동성애에 대한 재미난 연구 내용 [1]	프갤러(121.172)	05.22	55	1
2699241	잠자리 마우스 이거 결론은 13만원 가까이 줘야한다는거 맞음?? [1]	ㅇㅇ(123.213)	05.22	54	0
2699240	한국인들이 해외에서 적응을 못하는이유	ㅇㅇ(218.157)	05.22	31	0
2699239	프론트 양식 가져오는곳중에 좋은곳 없냐	프갤러(223.39)	05.22	21	0
2699238	네이버 바이브 벌써부터 결제해지 마렵네요 [1]	헬마스터	05.22	45	0
2699237	경력직 면접 어렵네 [3]	프갤러(115.21)	05.22	90	1
2699236	나님 네이버 바이브 구독하시다 ㅇㅅㅇ [2]	헬마스터	05.22	58	0
2699235	갱얼쥐	따당이	05.22	21	0
2699234	옆에 일하는 남녀가 왔는데 [1]	프갤러(121.172)	05.22	58	1
2699233	자바스프링 배웠는데 php 취직됨 [2]	프갤러(58.230)	05.22	99	0
2699232	21세기의 기술력	프갤러(121.172)	05.22	33	0
2699231	면접보고왓는데 ㅈ같다 [1]	아스타맘	05.22	85	0
2699230	포폴 이거 다운로드해서 받아갈 사람~?	프갤러(121.172)	05.22	38	1
2699229	디씨에서 하는 말 정확히 반대로 해라 ㅇㅇ [6]	프갤러(223.38)	05.22	76	0
2699228	aws에 동영상 좀 넣을려는데 비용 좀 쌔나? [4]	프갤러(223.39)	05.22	58	0
2699227	나님 탈갤합니당..❤+	♥순수퓨어냥덩♥	05.22	31	0
2699226	이런 앱개발자 포폴 미리보기사진은 직접 찍는건가요? [2]	프갤러(58.124)	05.22	64	0
2699225	요새 재미있는 애니 중에서 두 개 찾았다	프갤러(121.172)	05.22	34	1
2699224	나나얀지뭔지는걍파오캐랑그뭐야무슨디펜스할때알음ㅇㅇ	보법E노무현	05.22	17	0
2699223	국비가서 버스타야겠다	키비	05.22	40	0
2699222	챗지피티?응그래봤자너군대안갔다왔잖아ㅋㅋ	보법E노무현	05.22	22	0
2699221	나도 직사의 마안 아는데	프갤러(121.172)	05.22	37	1
2699220	중딩때 학교 전체가 월희얘기로 들떴던 시절 있었는데 요즘 애들은 모를듯 [4]	메쿠이로	05.22	43	0
2699219	GPT 질투하는 클로드 말투 [1]	프갤러(218.234)	05.22	50	0