[토론] 프갤검색기 이슈사항

1/1

전쟁 무서워서 만들었다. 만들고 싶은거 만드는거. 그게 우리 개발자지! https://gkuer.com 작성자 : 프갤러

삼류개발자

2010.06.15 11:17:20

조회 183 추천 0 댓글 5

1. 크롤링을 일정 간격으로 한다고 했을때 수정된 게시물에 대한 처리?
예)
A타임에 1번 글이 새로 올라와서 내용\'가나다\'를 DB 에 수집하였다.
B타임에 1번 글이 수정되어 내용이 \'라마바\'로 변경되었다.

이때 처리방안?
1) 변경된 사항이 있으면 새로운 글로 DB업데이트 (기존글과의 체킹에 비용발생)
2) 무조건 크롤링시에는 기존 글을 삭제하고 신규 입력 또는 업데이트 (변경 체킹 안함)

2. 역시 같은 안건이지만 댓글또한 같은 문제가 발생할수 있으면 신규 추가된 댓글의 문제
매 크롤링시에 새로 추가된 댓글은 무조건 추가?

3. 삭제된 글이나 댓글에 대한 처리
-> 삭제된 글 체킹에 높은 비용발생

4. 모든 DB데이타는 검색엔진에 색인된다. 따라서 위와같은 문제가 발생시의 -> 동기화 문제

자 의견좀 내보삼..

물론 의견이 올라와도 참고만 할뿐 반영이 꼭 되리란 보장은 없습니다.

고정닉 0

원본 첨부파일 1

신민아1.jpg

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	축의금 적게 내면 눈치 줄 것 같은 스타는?	운영자	24/11/11	-	-
210785	어쩌다가 이리 되었나 [6]	유리한	10.10.05	141	0
210784	형들도 자기주언어 말고 다른것도하나여 [4]	웨더	10.10.05	109	0
210783	힘쎄고 강한 아침!	dot(121.130)	10.10.05	46	0
210782	구글 인벤터를 사용해봤다. [2]	씬입사원	10.10.05	208	0
210781	자바스크립트 색상 변경하는거 질문하나 할게요 [3]	미르(152.99)	10.10.05	133	0
210780	늦었지만 지하철 유튜브녀? 를 봤어.. [2]	rntjr	10.10.05	157	0
210779	님들은 언어 몇개 정도 가능함? [6]	뜬삿갓	10.10.05	123	0
210778	비쥬얼 스튜디오 질ㅋ문ㅋ [2]	뜬삿갓	10.10.05	114	0
210777	MFC 는 안죽었다. MFC는 절대 죽지않는다. [5]	씬입사원	10.10.05	151	0
210776	C언어 고수님들 좀 봐주세요 ㅠㅠ [2]	망할C(175.112)	10.10.05	85	0
210774	퇴갤함미다	어떡해	10.10.05	71	0
210773	fork() 함수와 wait() waitpid() 함수....!!!!! [3]	잉(211.192)	10.10.05	273	0
210772	임베디드는 진짜.. [4]	ㄱㄱ(112.214)	10.10.05	171	0
210769	드림위버 왜 이럼 [14]	116.44(116.44)	10.10.05	166	0
210768	으악 Floating의 덧셈 원리를 도무지 모르겠어요 사람살려 [4]	siburalisk	10.10.05	175	0
210767	시박 미칠듯하다.. [16]	116.44(116.44)	10.10.05	182	0
210766	fortran watfor 잘하는 횽 없어? ㅠㅠ 능력좀 보여줘 [4]	뮤으	10.10.05	55	0
210765	형들 컴퓨터가 미쳣나봐 [2]	뉴비(222.118)	10.10.05	88	0
210764	젭라 api오류좀 잡아주샘 [8]	뉴비(222.118)	10.10.05	436	0
210763	VS잘됨... [3]	생각놀이	10.10.05	104	0
210758	아놕.. [12]	생각놀이	10.10.05	159	0
210757	님들아 이제막 프로그래밍 입문했는데 오류좀잡아주세요 고수님아 [11]	뉴비(222.118)	10.10.05	128	0
210756	형들 컴퓨터용 사전을 App으로 만들려면 많이 어려워? [3]	월간풀밭	10.10.05	76	0
210755	프로그래밍공부중엔 코딩은 많이해보는게 답이겠지?? [1]	갤러그(220.95)	10.10.05	64	0
210754	횽들 이거 답변좀 다풀엇는데 안되 `잇힝 [1]	뉴비뉴비(121.155)	10.10.05	55	0
210753	리눅스에서 fork함수 execl 함수 쓰는거 대해서 갑자기 헤깔려졌어! [6]	오오오(211.192)	10.10.05	420	0
210752	아 횽 소환 [1]	생각놀이	10.10.05	62	0
210751	현업에 종사하는 분들은 보통 몇개 언어 마스터중이신가요? [6]	갤러그(220.95)	10.10.05	104	0
210750	형님들;;; wpf가 먼가요??? [1]	썬잡아	10.10.05	113	0
210749	화면캡쳐 방지라고는 하는데 이게 실질적으로 가능한가? [8]	주방아가씨	10.10.05	609	0
210747	형들 flex배우려면 플래쉬 할줄 알아야됨? [1]	가르침을주소서	10.10.05	62	0
210746	C# 윈폼 책이나 웹페이지 추천 좀 [2]	왕따트레이더(115.23)	10.10.05	234	0
210745	오늘 알바 회사 사람한테 작업 관련해서 메일이 왔어 [7]	넉넉한터	10.10.05	127	0
210744	횽들 이거좀 봐주라ㅜㅜ;; [2]	아(112.151)	10.10.05	97	0
210743	근데 그 지하철 할머니가 그렇게 유명하대매?ㅋㅋ [2]	FalCon	10.10.05	109	0
210742	Qt << 요 녀석도 C++에서 돌아가는 GUI라이브러라능 [3]	생각놀이	10.10.05	127	0
210741	java -> c, c -> java 뭐가 더 쉬움?? [1]	ww(116.45)	10.10.04	131	0
210740	혹시 리눅스 프로그래밍 잘 하시는 분 계시나요? [2]	ㅇㅇㅇㅇ(180.67)	10.10.04	128	0
210739	횽님들 근데 코딩에는 정답이 있는건가요? [7]	갤러그(220.95)	10.10.04	95	0
210738	너네 감자깡이 맥주랑 어울리는건 알고 갤질하냐 [1]	짱개냥꾼	10.10.04	96	0
210737	여기 지하철 안타본 사람 있음? [4]	FalCon	10.10.04	94	0
210736	이 씨발 내가 여자를 만나기 위해 부족한게 대체 뭔데!! [7]	개쉛기	10.10.04	204	0
210735	횽들 이게 무슨말이야? [2]	딥스카이	10.10.04	111	0
210734	횽님들 이거 이해가 안되네요 [4]	갤러그(220.95)	10.10.04	77	0
210733	개쉙기 횽님 아까 그 계층형 다시 한번만여 . [7]	ㅇㄹ(168.131)	10.10.04	87	0
210732	이번 가이낙스 신작 개쩔..ㅋㅋㅋ [5]	야메떼♥	10.10.04	174	0
210731	횽들 근데 과제 에러 상정을 어떻게 해야할까? [1]	회색사과	10.10.04	55	0
210730	이제 다온듯 ㅋㅋ 조건문 [6]	헌터(180.227)	10.10.04	129	0
210729	syntax error, unexpected '/' in "어디어디"면, [2]	도서관훈남	10.10.04	52	0
210726	6시간동안 포샵 마스터.. ㅅㅂ [1]	166.44(116.44)	10.10.04	98	0