파이썬 urllib로 웹 데이터 접근하기: 실전 가이드

파이썬 urllib로 웹 데이터 접근하기

urllib이란 무엇인가?

urllib은 URL을 열고 웹 리소스를 다루는 것을 단순화하는 파이썬 내장 모듈입니다. URL을 가져오고, 파싱하고, 처리하기 위한 함수와 클래스를 제공하여 개발자가 XML, HTML, JSON 등 다양한 데이터 포맷을 인터넷에서 직접 검색할 수 있게 합니다.

이 튜토리얼에서는 urllib을 사용하여 다음을 시연합니다:

• URL을 열고 HTTP 응답 코드 확인
• 웹 페이지의 전체 HTML 콘텐츠 읽기

urllib으로 URL 열기

네트워크 요청을 실행하기 전 적절한 urllib 모듈을 임포트:

import urllib.request # Python 3
# import urllib2 # Python 2 (최신 릴리스에서 사용 중단)

메인 루틴을 정의하고 대상 URL을 지정한 뒤 urlopen()으로 연결을 엽니다. Guru99 유튜브 채널을 예로 들어보겠습니다:

def main():
    url = urllib.request.urlopen("https://www.youtube.com/user/guru99com")
    print("result code: " + str(url.getcode()))
    data = url.read()
    print(data.decode('utf-8'))

if __name__ == "__main__":
    main()

getcode() 메서드는 HTTP 상태 코드(예: 성공 시 200)를 반환합니다. read() 메서드는 페이지의 원시 바이트를 가져오며, 이를 UTF-8로 디코딩하여 가독성을 높입니다.

HTML 콘텐츠 읽기

URL이 열리면 read()를 호출하여 HTML을 추출할 수 있습니다. 결과 바이트는 전체 HTML 문서를 나타내며, BeautifulSoup 같은 라이브러리로 파싱하거나 직접 표시할 수 있습니다.

아래는 콘솔에서 디코딩된 HTML 출력의 시각적 예시입니다:

전체 코드 샘플

참고를 위해 파이썬 2와 3 환경 모두에 대한 전체 스크립트를 제공합니다.

파이썬 2 예제

import urllib2
def main():
    web_url = urllib2.urlopen("https://www.youtube.com/user/guru99com")
    print("result code: " + str(web_url.getcode()))
    data = web_url.read()
    print(data)

if __name__ == "__main__":
    main()

파이썬 3 예제

import urllib.request
web_url = urllib.request.urlopen('https://www.youtube.com/user/guru99com')
print('result code: ' + str(web_url.getcode()))
print(web_url.read().decode('utf-8'))