디시인사이드 갤러리

갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

웹페이지 다루는거 종결법 - 파이썬

DART(116.41) 2013.02.20 15:08:57
조회 286 추천 0 댓글 2

libxml + requests + xpath
이 조합이 젤 적절하다
뷰티풀 숲 쓰지마라..
존나 느리다 진짜 미칠듯이느리다..
언제 벤치본적있는데 한 10배 차이나던가?
실사용하면 더 느림
고로, 버려
xpath 꼭 써라
함수까지 꼭써라 xpath 함수 못쓰면 제대로 쓴게아니다
이를테면
//a[starts-with(@href, 'https://gall.dcinside.com/')] 
이런식으로 적어놓으면 디씨 갤로가는 모든 링크를 가져오는거다 참 쉽지?

아 물론 대책없이 짝도 안맞는 사이트들은 감당이 안될 수도있어
그럼 뷰티풀숲 쓰던가 ㅇㅇ...

물론 간혹가다 줫같은 사이트가 있다
이를 테면 자바스크립트 같은걸 실행시켜야 원래 내용이 보인다던지
따위의 트릭을 쓰는 더러운 홈페이지들이 있지..

그럴땐 
selenium webdrver + ghostdriver + libxml 이
적절하다

이건 실제로 브라우져 뛰워서 코드실행시키는거니까
이게 안되면 크롬에서도 안보인 다는 뜻임 ㅇㅇ
특히 ghost driver은 phantomjs 라 headless라서
cui 환경에서도 실행가능하지.. 즉 우분투 서버에 놓고 돌릴 수 있다는 뜻이얌
webdriver IE버젼도 있긴한데 그건 윈도우만 가능

근데 내가 이 글 왜썼지?

....

추천 비추천

0

고정닉 0

0

댓글 영역

전체 댓글 0
본문 보기

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 제목 글쓴이 작성일 조회 추천
설문 반응이 재밌어서 자꾸만 놀리고 싶은 리액션 좋은 스타는? 운영자 25/07/28 - -
AD 휴대폰 액세서리 세일 중임! 운영자 25/07/28 - -
346718 삽질 크게 한번했다.. 어쩌냐.. ㅇㅇ(58.102) 13.02.21 58 0
346717 c#문법 원래 이런겁니까?? [1] 마이리틀포니짱짱갤로그로 이동합니다. 13.02.21 142 0
346715 형들 이문제좀 풀어줘요 ㅋㅋ 물구나무(112.148) 13.02.21 69 0
346712 i7-3770k 660ti [8] ㅋㄱ(183.96) 13.02.21 113 0
346711 형들 와우 3d모델 추출하려는데 에러뜬다..왜이러지.. [1] 도레기(221.138) 13.02.21 105 0
346709 형들 고3인데 전문학교가는거 괜춘? [2] 좆뉴비(110.70) 13.02.21 117 0
346707 홈페이지만드는데 꼭ssl인증서 같은거 해야됨? [4] 웹프(175.215) 13.02.21 89 0
346706 부동소수점예외 ㅁㄴㅇㄹ(180.230) 13.02.21 83 0
346705 흥미 떨어짐 망함 [3] sadsa(220.120) 13.02.21 124 0
346703 VMware로 리눅스 CentOS iso받아서 구동중인데 한글어떻게써?ㅠ [11] ㅁㄴㅇㄹ(14.37) 13.02.21 119 0
346702 [모음집 3부] 진로선택에 도움이 되라고 써봅니다. 드래곤볼(59.3) 13.02.21 155 0
346701 무슨학겨에서 리눅스쓰라는 숙제나왓냐 [5] 돌대갈(211.36) 13.02.21 126 0
346700 [모음집 2부] 진로선택에 도움이 되라고 써봅니다. [1] 드래곤볼(59.3) 13.02.21 359 0
346698 [모음집] 진로선택에 도움이 되라고 써봅니다. [5] 드래곤볼(59.3) 13.02.21 289 0
346697 프로그래머가 차일피일 미룸 [5] ㅇㅇ(1.245) 13.02.21 163 0
346696 게임엔진 잘아는 분계심? [8] abc123(183.96) 13.02.21 203 0
346695 형들 진지하게 물어볼꺼 있어 [2] 뉴뉴비(121.133) 13.02.21 97 0
346694 진짜 몇달간 밤새서 코딩만 하는사람들 존경스럽다 [4] 웹프(175.215) 13.02.21 183 0
346693 야 시간당 돈내고 코딩/프로젝트 방향 상담받을 사람 있냐 [7] c(175.208) 13.02.21 186 0
346690 linux => CentOs 쓰는데 수정사항 어캐 세이브함? [8] 천국거지갤로그로 이동합니다. 13.02.21 93 0
346689 횽들 교착상태 예방하는 함수가 있어요? [2] 플초보(218.209) 13.02.21 81 0
346688 야 게임핵만들라면 리버싱만잘하면되냐? [5] ㅁㄴㅇㄹ(39.7) 13.02.21 219 0
346687 처음 대학교 갈때 간지 폭발의 그래픽이 난무하는 프로그램을 만드는 줄 멍청닭(182.211) 13.02.21 90 0
346686 게임핵만드는 혛들중에 저좀 가르쳐줄혛들없나여 [7] ㅇㅇ(121.170) 13.02.21 187 0
346685 횽들아 곧 대딩되는데요 레포트 좀 해주세여~ [5] 멍청닭(182.211) 13.02.21 98 0
346684 자바 첫 프로그래밍 에러났는데.. [8] 상상(175.123) 13.02.21 156 0
346683 이제 1개월 후면 드디어... [3] aa(123.142) 13.02.21 84 0
346682 저번에 어디서 본건데 [5] furcht(112.185) 13.02.21 76 0
346681 이거 이미지클릭하면 보라색뜨는데 어떻게없앰?? [4] 23ㄷ2(175.215) 13.02.21 85 0
346680 게임 핵만드는 혛들 대충 이런개념맞음? [1] ㅇㅇ(121.170) 13.02.21 135 0
346679 오늘부터 카톡게임 개발 들어간다 질문받는다 [2] ㅇㅇ(1.241) 13.02.21 136 0
346678 집에서 or 혼자 공부하는건 시간은 많아서 좋은데 능률이 안나오네;; [1] 개마무사갤로그로 이동합니다. 13.02.21 111 0
346677 리눅스 설정이 안됀다 !! ㅠ [3] 천국거지갤로그로 이동합니다. 13.02.21 71 0
346675 리눅스 쉘에서 wget명령어 능숙하게 쓰는사람 필독 [7] ㅁㄴㅇㄹ(14.37) 13.02.21 262 0
346673 왜 무인약국 없음? [15] DART(116.41) 13.02.21 211 0
346672 Centos 6.3 버젼 쓰는데 천국거지갤로그로 이동합니다. 13.02.21 71 0
346670 유능한 해커들은 대부분 리눅스를 많이쓴다고 들었는데 왜그런거야?? [4] 엽산(14.37) 13.02.21 198 0
346669 오라클 DBA 되고싶은데 C언어 해야됨? [2] w(115.145) 13.02.21 165 0
346667 이거 바이러스냐 ?(123.142) 13.02.21 59 0
346666 횽들이 추첮해준 책이 이책 맞음? 나리링갤로그로 이동합니다. 13.02.21 71 0
346665 자바 배우기 좋은 사이트 없음용? 인강은 너무 말이 빠름 [1] 상상(175.123) 13.02.21 114 0
346664 혹시 은행 전산팀 근무하시는분 계십니까 [1] ㅇㅇ(112.220) 13.02.21 144 0
346660 일주일만에 덱스터시즌5까지 봤다 [1] 옵저버(61.255) 13.02.21 54 0
346659 요새 리눅스질문글이 많이올라오네.. 옵저버(61.255) 13.02.21 65 0
346658 오늘부터 자바 배우는데.. 드디어 시작인가 싶음. [1] 상상(175.123) 13.02.21 112 0
346657 삼성이나 엘지전자 소프트웨어 개발자들은 무슨 일 하나요? [1] 아쥬아쥬(115.23) 13.02.21 319 0
346655 dll좀 아는 사람? [4] dㅣㅣ(121.164) 13.02.21 110 0
346654 유니티 프로그래밍 가능자중 구직중인 사람 필독 [3] MalJa갤로그로 이동합니다. 13.02.21 190 0
346653 형들 sdl은 렌더링엔진임? [3] 성게밥(175.223) 13.02.21 97 0
346652 (C++) 객체를 const 화 한다는 것의 의미를 설명하시오 [3] ㅁㄴㄻㄹ갤로그로 이동합니다. 13.02.21 135 0
뉴스 [인터뷰]K팝 추는 할머니 이정은 "웃기지만 울컥, 가족이니까" 디시트렌드 07.28
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

실시간 베스트

1/8

뉴스

디시미디어

디시이슈

1/2