디시인사이드 갤러리

갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

크롤링이 안 돌아가요 ㅠㅠ

파이썬(218.144) 2023.05.29 02:37:06
조회 93 추천 0 댓글 5

import requests
from bs4 import BeautifulSoup

 
 
data_list = []

for press_code in code_list :
  for date in date_list :
   
   

    url = "https://media.naver.com/press/"+press_code+"/ranking"

    querystring = {"":"","type":"popular","date":date}

    payload = "=fileType%3D&=pgmNo%3D&=pageIndex%3D&=stnGroupSns%3D&=areaId%3D&=inputInt%3D&=condit%3D&=inputInt2%3D&menuNo=440&minTa=25.0&selectType=1&mddlClssCd=SFC01&lastDayOfMonth=31&startDt=20221001&endDt=20230331&schType=1&txtStnNm=%EC%84%9C%EC%9A%B8&stnId=108&ureaType=1&dataFormCd=3&startYear=2022&endYear=2023&tempInputVal=1&precInputVal=1&windInputVal=1&rhmInputVal=1&icsrInputVal=1&symbol=1&symbol2=1&monthCheck=Y&startMonth=01&endMonth=12&dayCheck=Y&startDay=01&endDay=31&sesn=1"
    headers = {
        "cookie": "page_uid=ib2EYlprc%2B0ss51a%2Bwossssst4Z-329846; nx_ssl=2",
        "Accept": "application/json, text/javascript, */*; q=0.01",
        "Accept-Language": "ko-KR,ko;q=0.9,en-US;q=0.8,en;q=0.7",
        "Connection": "keep-alive",
        "Content-Type": "application/x-www-form-urlencoded; charset=UTF-8",
        "Cookie": "_harry_ref=; _harry_url=https%3A//data.kma.go.kr/climate/RankState/selectRankStatisticsDivisionList.do; _harry_fid=hh-1811086711; XTVID=A230502161915003757; _harry_lang=ko-KR; JSESSIONID=4ck4kZgxenhQrJui1Qi7tcuWKef0v0dlSa4GdK4t4IPxMQK9x0smL1ZburguTevq.was01_servlet_engine5; _harry_hsid=A230504102940286914; _harry_dsid=A230504102940286005; xloc=1920X1080",
        "Origin": "https://data.kma.go.kr",
        "Referer": "https://data.kma.go.kr/climate/RankState/selectRankStatisticsDivisionList.do",
        "Sec-Fetch-Dest": "empty",
        "Sec-Fetch-Mode": "cors",
        "Sec-Fetch-Site": "same-origin",
        "User-Agent": "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/112.0.0.0 Mobile Safari/537.36",
        "X-Requested-With": "XMLHttpRequest",
        "sec-ch-ua": '"Chromium";v="112", "Google Chrome";v="112", "Not:A-Brand";v="99"',
        "sec-ch-ua-mobile": "?1",
        "sec-ch-ua-platform": '"Android"'
    }

    response = requests.request("GET", url, data=payload, headers=headers, params=querystring)

       
    #######################
    soup = BeautifulSoup(response.text, 'html.parser')
    date = soup.find('div', class_= 'press_ranking_date')

    press_name = soup.find('a', class_='press_hd_name_link')

    rank_list = soup.find_all('em', class_='list_ranking_num')
    title_list = soup.find_all('strong', class_ = 'list_title')  
     
    for rank, title in zip(rank_list, title_list) :
      data = [date, press_name, rank.get_text(), title.get_text()]
      print(data)
    # data_list.append(data)
   
   


추천 비추천

0

고정닉 0

0

댓글 영역

전체 댓글 0
등록순정렬 기준선택
본문 보기

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 제목 글쓴이 작성일 조회 추천
설문 운전대만 잡으면 다른 사람이 될 것 같은 스타는? 운영자 24/04/15 - -
이슈 [디시人터뷰] 집념닥터, ‘내가 사랑하는 커뮤니티, 디시인사이드’ 운영자 24/04/16 - -
공지 프로그래밍 갤러리 이용 안내 [68] 운영자 20.09.28 33983 62
2682480 나님 시작합니당❤ ♥냥덩나르도다빈치♥갤로그로 이동합니다. 11:17 1 0
2682479 아 짜쯩나 아마존에 서버 요금 엄청 바쳤네. 3년간 이제 끝남. 사요나라(14.35) 11:02 19 0
2682478 요즘 SNS 거의 어디 이용해? [6] ㅇㅇ(210.97) 10:54 20 0
2682477 페트병 주운돈 경조사비 내면 어떤 기분일까... 사요나라(14.35) 10:48 7 0
2682476 근데 개발자 대우는 원래 이랬음 ㅇㅇ(221.144) 10:46 28 1
2682475 어제 팔도비빔면 2개 먹었어 딱지(210.183) 10:42 11 0
2682474 따당? ♥냥덩나르도다빈치♥갤로그로 이동합니다. 10:41 14 0
2682473 재활용 페트병 주워서 슈퍼빈으로 포인트 벌고 있습니다. 사요나라(14.35) 10:40 9 0
2682472 나님은 미래를 걷는당 ♥냥덩나르도다빈치♥갤로그로 이동합니다. 10:39 14 0
2682471 엔비디아 GPU 24GB 이 30만원대 하는 세상이 올까 [1] ㅇㅇ(221.144) 10:39 11 0
2682470 빡대가리 질문좀 [1] 프갤러(118.32) 10:35 19 0
2682469 감기약 더블로 먹었다..ㅇㅅㅇ [1] 헤르 미온느갤로그로 이동합니다. 10:32 17 0
2682468 너뮤 힘들다 금융오지마라갤로그로 이동합니다. 10:30 11 0
2682467 아!!!! 내 인생 최고다! ㅇㅇ(118.235) 10:28 9 0
2682466 젠투깔아볼까 [1] 골방외톨이갤로그로 이동합니다. 10:21 25 0
2682465 음흉씹덕이 구루가 되어도 될지 ㅇㅇ(118.235) 10:20 9 0
2682464 드디어 연봉 3천찍음 질문 받는다 [3] 팜팻(114.204) 10:20 29 0
2682463 따당이 개발자 많이 뽑는 시기 잘탔네 프갤러(211.234) 10:19 17 0
2682462 국비지원 듣고 나면 내일배움카드 잔액 0원됨? 프갤러(116.36) 10:13 11 0
2682461 요즘은 사람들 토렌트 별로 안쓰나봄 [4] 노력갤로그로 이동합니다. 10:13 33 0
2682460 따당이 아침엥 영어회화 공부중 ㅇㅅㅇ [1] 따당이갤로그로 이동합니다. 10:13 16 0
2682459 너무 많이 아는것이 때론 독이된다 ♥냥덩나르도다빈치♥갤로그로 이동합니다. 10:12 14 0
2682458 오타쿠직업 개발자들의 세상 종결 ㅇㅇ(211.220) 10:06 20 0
2682457 나님 시작합니당❤+ ♥냥덩나르도다빈치♥갤로그로 이동합니다. 10:03 8 0
2682456 pyinstall 질문 프갤러(121.171) 10:03 7 0
2682454 회사소스 modelattribute 안쓰고 requestparam [1] 프갤러(106.101) 09:57 15 0
2682453 아니 왜이렇게 게시글들이 저렴해졌냐? [9] 프갤러(124.54) 09:37 67 0
2682452 퇴사 한다고 하면 붙잡히려나.. [12] ㅇㅇ(211.234) 09:30 72 1
2682451 냥덩이를 냥덩답게 위대하게 찬란하게⭐+ ♥냥덩나르도다빈치♥갤로그로 이동합니다. 09:20 16 0
2682450 나 fbi얌 ㅇㅇ(118.235) 09:18 10 0
2682449 가스라이팅 때문에 포기했어 ㅇㅅㅇ 나트륨찡갤로그로 이동합니다. 09:15 20 0
2682448 잘생기게 태어나는 법 ㅇㅅㅇ 나트륨찡갤로그로 이동합니다. 09:11 18 0
2682447 누가 대피소 마갤좀 파라 프갤러(106.101) 09:10 17 0
2682446 나님 시작합니당❤+ ♥냥덩나르도다빈치♥갤로그로 이동합니다. 09:09 11 0
2682445 명문대도 가스라이팅이지 ㅇㅅㅇ [1] 류류(118.235) 09:06 26 1
2682444 Chatgpt가자살율을획기적으로낮춰주지않을까 보법e노무현갤로그로 이동합니다. 09:06 20 0
2682443 가난한 집애들 명문대갓는데 [2] ㅇㅇ(118.235) 09:03 37 0
2682442 이미지 저장할 스토리지 추천좀 해쥬십쇼 [2] 낙인도락이다갤로그로 이동합니다. 08:57 26 0
2682441 고졸 국비출신 7년차로써 4년제 니들이 뭐 어쩔건데 ㅋㅋ [3] 프갤러(118.235) 08:51 54 1
2682440 내 방 전경 어때보임? [3] 메쿠이로갤로그로 이동합니다. 08:43 48 0
2682439 나님 사실 삼체냥임.. 인간들을 멸종시키러 왔응 ♥냥덩나르도다빈치♥갤로그로 이동합니다. 08:28 24 0
2682438 나님 시작합니당❤+ [1] ♥냥덩나르도다빈치♥갤로그로 이동합니다. 08:19 25 0
2682437 나는 매드사이언티스트여 ㅇㅇ(118.235) 08:18 17 0
2682436 하루 한 번 헤르미온느 찬양 헤르 미온느갤로그로 이동합니다. 08:16 20 0
2682435 여자애 생식기 폭파 하고 싶음 ㅇㅅㅇ 류류(118.235) 08:12 17 1
2682434 나 너무 힘들어 집단 괴롭힘 당해 나트륨찡갤로그로 이동합니다. 08:11 31 0
2682433 Architecture가 왜 아키텍쳐냐 [3] ㅇㅇ(1.219) 08:08 51 1
2682432 르세라핌 코첼라는 BTS백으로 간거냐? 텬됴대한의아들갤로그로 이동합니다. 08:06 30 0
2682431 외향적일수록 조센징의 정수(Essence)가 담겨있다 외척갤로그로 이동합니다. 07:59 20 0
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

실시간 베스트

1/8

뉴스

디시미디어

디시이슈

1/2