python requests 헤더(header), 쿠키(cookie) 추가하기

크롤링하고자 하는 사이트가 헤더 정보, 쿠키가 없을 경우 접근을 차단할 수 있습니다.

헤더,쿠키정보는 크롬을 사용할 경우 개발자모드에서 확인 할 수 있습니다.아니던가?

사이트나 페이지마다 다를 수 있으니 각자 알아서 연구해야 하는 단점이 있어요.

import requests
from bs4 import BeautifulSoup

dummy_headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36'
}

dummy_cookies = {
    'session-id': '139-6087491-2828334',
    'session-id-time': '2082787201l',
    'i18n-prefs': 'USD',
    'sp-cdn:'"L5Z9:KR"','
    'skin': 'noskin',
    'ubid-main': '130-2421179-7560556',
    'session-token': 'nV0slBNZnFCnT+35eEZR01v7Xv69aoVRefqNnlR+AxMTQeaJxc318UcfuWmAGc3vqFAmMxNypUUmEPF0acnUnwhaXip+MmqLrbBx50eKTbM2valdSiYhSdFhnYgC9+MjtcBNeGM49jTQSRhCTJMmY/kgsODPXPNtRbr9VeDD5EDkNFYMpL2AHJxyJ0ACeqUD7OfpgT2gDYZnffhJWL9Ai/iQWJiKCpod9IqwePrrt+LJTmHRSHqO6AL6UaHonJcF',
    'csm-hit': 'tb:4PH14D8R1NFG06S7WSKG+s-22X053BHG853AXRQ8YYW|1629357378020&t:1629357378020&adb:adblk_no'
}
req = requests.get('https://www.amazon.com/s?k=dental+mask&ref=nb_sb_noss_2', headers=dummy_headers,
                   cookies=dummy_cookies)
req.raise_for_status()
if req.status_code == 200:
    try:
        soup = BeautifulSoup(req.content, 'html.parser')
        # print(soup)
        # print(soup.prettify())
        print(soup.select('.a-size-medium')[0].text)
    except:
        print('Error.............')
else:
    print('Error', req.message)

https://beautiful-soup-4.readthedocs.io/en/latest/

Beautiful Soup Documentation — Beautiful Soup 4.4.0 documentation

매뉴얼을 천천히 읽어 보면 할 수 있습니다.

오랜만에 사용해 보는 인터프리트 언어의 신속성이 즐겁기도 합니다.