[Python] Web Crawling - 정적 웹 페이지 🆚 동적 웹 페이지

📌 Crawling

일단 정적 웹페이지와 동적 웹페이지가 존재하는데 그 차이를 알아야한다.

정적 웹페이지는 움직이지 않고 현재 상태 그대로 html을 가져와 사용할 수 있는 사이트를 말한다.
검색했을때 url 링크가 검색어가 q = "hello" 형태로 붙는다거나
상세 페이지 url을 가지고 해당 상품의 상세 정보 내용을 모두 가져올 수 있는 페이지를 정적 웹페이지라고 한다.

동적 웹페이지는 동일한 url인데 사용자의 컨트롤에 따라 화면의 결과, html이 달라지는 사이트를 말한다.
무한 스크롤이 가능한 페이지나 tab 버튼을 눌렀는데 현재 페이지에서 하단 결과 값만 달라지거나 한다.

📌 Crawling에선 뭐가 다른데??!!!

정적 웹페이지는 requests 모듈을 사용하여 url의 html을 가져오는 방법을 배웠고,
동적 웹페이지는 selenium 모듈을 사용하여 직접 마우스를 제어(?)하며 하나의 url에서 원하는 정보를 가져오는 방법을 배웠다.

그리고 html을 가져와서 내가 원하는 부분을 찾아오는 라이브러리로 Beautifulsoup 사용법을 배웠다.

🔍 정적 웹크롤링

1️⃣ 정적 웹페이지 requests 모듈 사용하여 html 가져오기.
2️⃣ 가져온 html을 lxml 파서를 선택해서 html을 해석한다.
3️⃣ 해석된 html = soup, soup에서 원하는 데이터를 추출해낸다.

res = requests.get(url, headers={"user-agent":user_agent})
res.encoding = "utf-8"

if res.status_code == 200:
    soup = BeautifulSoup(res.text, "lxml")
    
    a_tag_list = soup.select(a_selector)
    
    for a_tag in a_tag_list:
        print(a_tag.get("href"))
        print(a_tag.attrs["href"])
else:
    raise Exception(f"요청 실패. 응답코드: {res.status_code}")

 

✅ BeautifulSoup Parser(파서) 종류는 "lxml", "html.parser", "html5lib" 중 하나를 선택한다.
html.parser는 파이썬 내장으로 설치가 불필요하지만 속도가 느린편이며,
html5lib은 HTML5 표준에 맞게 엄격하게 해석하는 파서라서 더 속도가 느리다.
위에서 사용한 lxml은 C언어 기반이라 속도가 제일 빠르고 안정성이 좋아 lxml로 대부분 사용한다.

✅ a_tag를 그대로 print해보면 select로 가져오게 된 html 그대로가 표시된다.
해당 html에서 내가 원하는 정보를 추출하려면 a_tag에서도 select를 해서 더 상세하게 들어갈 수 도 있고,
바로 get이나 attrs를 가지고 내가 원하는 정보를 가져올 수 있다.

🔍 동적 웹크롤링

동적 웹크롤링은 Selenium이 대표적이고 요즘엔 Playwright도 많이 사용한다고 한다. 수업시간엔 Selenium에대해서 배웠다.

option = webdriver.ChromeOptions()
option.add_argument("--headless")

driver_path = ChromeDriverManager().install()
service = Service(executable_path=driver_path)

browser = webdriver.Chrome(service=service, options = option)

동적 웹크롤링은 컴퓨터에 존재하는 chromedriver.exe 파일을 가지고 크롤링을 하기때문에 
browser 객체를 통해 웹 사이트의 버튼을 누를 수도 있고, 스크린샷을 할 수도 있고 스크롤를 내리게 할 수 도 있다.

execute_script("js code")를 통해서 웹사이트에서 js코드를 실행시킬 수 도 있다.

✅ 웹 크롤링을 시작하면 기본으로 웹이 실제로 뜨면서 작동이 되는 형태인데,,,
브라우저 창은 띄우지 않고 크롤링 하기 위해서는 option에 headless를 설정 해줘야한다.

✅ 페이지 이동이나 무한스크롤에서 스크롤을 진행할 때,
크롤링을 바로 하면 화면 구성이 완료되지 않은 상태의 html을 가져오게 된다.
이를 방지하기 위해서 사용하는게 time.sleep(초), WebDriverWait.until(화면이 뜨는 조건), ImplicitWait가 있다.

time.sleep(n) : 무조건 n초만큼 기다리기
WebDriverWait.until : 화면의 뜨는 조건이 만족되면 n초가 되지 않아도 다음으로 넘어간다.
ImplicitWait : 전체 페이지 로딩이 끝날때까지 기다렸다가 n초가 되지 않아도 다음으로 넘어간다.

https://selenium-python.readthedocs.io/waits.html

1️⃣ 무한 스크롤 가능한 동적 웹페이지 열어주기
2️⃣ 제일 하단까지 무한 스크롤 진행
3️⃣ html 가져오고 원하는 정보 가져오기

Selenium 라이브러리로 정적이든 동적이든 자동으로 웹 크롤링 하게 만들기도 하고, 매크로를 만들어 사용하기도 한다.