[python] 파이썬 웹 크롤링(9): 폼과 로그인을 통한 크롤링

업데이트:

파이썬 웹 크롤링(9): 폼과 로그인을 통한 크롤링

본 포스팅은 Web Scraping with Python by Ryan Mitchell을 참고하였습니다.

참고 링크

Chapter 9: 폼과 로그인을 통한 크롤링

여러분이 크롤링의 기본을 배웠을 때쯤 처음 드는 생각은 “로그인 후에 접근할 수 있는 정보에는 어떻게 접근할까?” 일 것입니다. 일정 형식과 로그인은 거의 피할 수 없는 영역입니다. 운좋게도 이는 쉽게 해결할 수 있습니다.

여태까지 웹 서버와의 상호작용에서 주로 정보를 요청하기 위해 HTTP GET을 사용했습니다. 이번 챕터에서는 웹서버에 정보를 push할 수 있는 POST 방법에 집중해보겠습니다.

FORM 은 웹서버에 정보를 보낼 양식을 제공해줍니다. 웹사이트에서의 tags가 유저가 GET 요청을 보내는데 도움을 주는 것과 마찬가지로, HTML horm은 POST 요청을 보내는 포맷을 제공해줍니다.

9.1 파이썬 요청 라이브러리