크롤링 << 이거 진짜 실력향상에 도움 많이됨

크롤링 << 이거 진짜 실력향상에 도움 많이됨앱에서 작성

프갤러(117.111) 2024.05.10 15:13:07

조회 122 추천 1 댓글 3

1. 스크랩핑한 데이터에 맞게끔 테이블을 짜야하는데 결국 완성하게되면 해당 사이트와 비슷하게 테이블을 짜게 되어있음. 이게 도움 많이됨.

2. 동기적, 비동기적으로 크롤링을 하는데 두개 공부하기 딱 좋음

3. 대용량의 데이터를 다루기 때문에 얼만큼 끊어서 일괄 저장할지 , 이미지 최적화는 어떻게하고 임시 파일로 저장했다가 한꺼번이 처리할지 등등 연습하기 좋음

4. 크롤링은 주기적으로 실행하는편이니깐 크론에 대해서 실습하기 좋음

5. 만약 해당 사이트의 셀렉터 구조가 바뀌어서 다시 코드 짜야할때 굉장히 번거로운데 이때 테스트 코드 작성하는 방법을 배울 수 있음. 개별로 테스트 케이스 만들어놨다가 실패하는 케이스만 골라서 처리 하면됨

6. 공식문서 참고를 많이하게됨. 관련강의 자체도 거의 없을뿐더러 있어도 셀레니움같은 틀딱 라이브러리씀. gpt도 병신같이짜줘서 공식문서 보는 습관 들이기 편함

7. 자동화 프로그램이다 보니 클린코드를 지향하게됨. 이거도 도움 많이됨

ㄹㅇ 공부할거면 크롤링해라

- dc official App

고정닉 0

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	어떤 상황이 닥쳐도 지갑 절대 안 열 것 같은 스타는?	운영자	24/05/20	-	-
2700389	멍청한 유라씨 실기때 기대하겠습니다 [2]	헬마스터	05.24	51	0
2700388	근데 멍유 여자냐? [2]	아스카영원히사랑해	05.24	68	0
2700387	검토 두번하느라 늦었습니다. [7]	멍청한유라ㅋ	05.24	83	1
2700386	LUMI 키보드	발명도둑잡기	05.24	11	0
2700384	평생 인터넷에 쓴글 지인들한테 커밍아웃하고 10억받기 [2]	ㅇㅇ(39.7)	05.24	59	1
2700383	아니 퍼블도 없고 디자이너도 없고 [4]	ㅇㅇ(211.234)	05.24	50	0
2700382	윈도우 뭐이럼??	프갤러(219.255)	05.24	10	0
2700381	윈도우같은 os는 세상에 나왔으면 안됨	프갤러(219.255)	05.24	13	0
2700380	하 맥에서 잘돌아가는데 윈도우에서 안돌아가네	프갤러(219.255)	05.24	11	0
2700379	윈도우의 죄악 arm의 발전을 늦춤	프갤러(219.255)	05.24	12	0
2700378	축배를 들어라~ [25]	멍청한유라ㅋ	05.24	108	1
2700377	나 프론트 면접관 자주하는데 질문 밧을게 ㅇㅅㅇ [3]	AppHiki	05.24	93	1
2700376	윈도우 에서 코딩하고 인생이 망함	프갤러(219.255)	05.24	18	0
2700375	윈도우가 없어져야 x86 프로그램도 없어짐	프갤러(219.255)	05.24	9	0
2700374	정처기 떨어져도된다	키비	05.24	44	0
2700373	아직도 윈도우 쓰면 미개하다고 해야하나	프갤러(219.255)	05.24	12	0
2700372	요즘 mz들은 맥북만씀	프갤러(219.255)	05.24	12	0
2700371	윈도우: 호환성 위해서 팔다리 다묶음	프갤러(219.255)	05.24	9	0
2700370	맥만 있으면 세상이 2배는 빨라짐	프갤러(219.255)	05.24	12	0
2700369	윈도우 지지한다? x86 카르텔	프갤러(219.255)	05.24	9	0
2700368	Po가 여자고 같은 팀인데	ㅇㅇ(211.234)	05.24	22	0
2700367	윈도우 = 호환성 지킬려고 80~90대까지 일하게 시킴	프갤러(219.255)	05.24	8	0
2700366	윈도우 = 호환지킬려고 80~90대 노인네도 살수있게함	프갤러(219.255)	05.24	9	0
2700365	멍유 진짜 안오네 [2]	ㅇㅇ(180.233)	05.24	30	0
2700364	사상최악의 os 윈도우	프갤러(219.255)	05.24	9	0
2700363	윈도우 쓰는 사람은 그냥 툴키디죠	프갤러(219.255)	05.24	9	0
2700362	윈도우에서 프로그래밍 하지마세요	프갤러(219.255)	05.24	13	0
2700361	윈도우쓰지마세요	프갤러(219.255)	05.24	10	0
2700360	반도체 발전시킬필요없음 arm 쓰면 2배 성능업	프갤러(219.255)	05.24	9	0
2700359	향로같은 경우는 재능이 특출난 경우지?	프갤러(1.232)	05.24	19	0
2700358	챗지피티때문에 개발자 사라지면 [2]	프갤러(223.62)	05.24	51	0
2700357	이게 뭔말인지 알아들으면 인싸 아님. [1]	프갤러(175.208)	05.24	52	0
2700356	원종이가 칼찌하는순간 수학자노무현! 외쳤다면 [2]	헬마스터	05.24	48	1
2700354	나는 최원종 선생님을 존경한다	ㅇㅇ(223.39)	05.24	22	0
2700352	슬슬 저새끼 인싸 아닌거 같다. [4]	프갤러(175.208)	05.24	62	0
2700351	비개발자가 개발 가능해진다 이건 아무것도 모르는 새끼고	프갤러(175.208)	05.24	47	1
2700350	서울역 근황 [3]	ㅣ싣(211.234)	05.24	82	0
2700349	멍청한유라씨 떨어져도 괜찮아 [11]	헬마스터	05.24	98	0
2700348	프갤 최고의 야스킹 갱1뱅 야스 4시간 전 [3]	아스카영원히사랑해	05.24	58	2
2700346	멍유 이새끼 진짜 떨어진 거 같음 [3]	딱지(210.183)	05.24	69	0
2700344	개발자 대체 안된다고하던데 [2]	ㅇㅇ	05.24	88	0
2700343	경영, 컴공 복전생 학점 3.9 토익 845 정처기 리마2급 스펙 끝 [2]	ㅇㅇ(223.38)	05.24	42	0
2700342	나님 시작합니당❤	♥순수퓨어냥덩♥	05.24	14	0
2700341	나는내향적이야	ㅇㅇ(223.39)	05.24	12	0
2700340	이번 휴일에도 1키로 쪘다..ㅇㅅㅇ [2]	헤르 미온느	05.24	25	0
2700339	이직할때 여러 회사 최종 기다리면 일정 어케 맞춤? [4]	ㅇㅇ(223.38)	05.24	73	0
2700338	gs에 몰루아카빵 파네 [1]	프갤러(122.199)	05.24	33	0
2700337	40명에 개발자 혼자있는 회사어때? [3]	프갤러(118.235)	05.24	77	0
2700336	gpt4o 만들땐 좋은데 [1]	ㅇㅇ	05.24	60	0
2700335	국비 이거 완전 밑빠진독에 물 붓기 아니냐	ㅇㅇ(223.38)	05.24	41	0