selenium 통해서 web crawling 해서 slack 메세지 보내기

1. selenium, schedule, requests 설치

- selenium : 웹 브라우저를 실행하고 제어한다. 브라우저에 직접 접근하니 동적 웹 페이지도에 사용 가능하다.
- reqeusts : 인터넷에서 파일과 웹 페이지를 다운로드 가능하다.
- schedule : 특정 작업을 일정에 맞춰 실행할 수 있도록 설정 가능하다.
- beautifulsoup : 웹 페이지를 작성하는 형식인 HTML을 구문 분석하며 정적 웹 페이지만 사용 가능하다.
(제가 크롤링 할 웹 페이지는 동적 웹 페이지로 구성되어 있기 때문에 selenium을 사용해보겠습니다 🤔)

pip3 install selenium 
pip3 install requests 
pip3 install schedule

 

2. 특정 URL의 HTML 데이터 가져오기(=크롤링)

- chrom driver 다운로드 후 path 지정 후 코드에 dirver 생성하여 크롤링 할 웹 페이지를 호출합니다.
(백그라운드에서 띄울 예정이므로 실제 브라우저를 렌더링할 필요가 없으니?! optins.headless = True를 적용해줍니다.)

#options.headless = True : 브라우저를 렌더링하지 않고 메모리 상에서만 작업이 이루어지도록 하기 위한 옵션 
options = Options() 
options.headless = True 

driver = webdriver.Chrome(executable_path='./chromedriver', options=options) 
driver.get('https://www.broadcom.com/support/security-center/definitions/download/detail?gid=sep14')

https://www.broadcom.com/support/security-center/definitions/download/detail?gid=sep14

Security Center Download Detail

https://chromedriver.chromium.org/downloads

ChromeDriver - WebDriver for Chrome - Downloads

 

3. 특정 항목 불러오기

- 원하는 항목을 선택한 후 오른쪽 클릭 - [copy] - [copy selector]를 선택 후 find_element_by_css_selector()에 넣어줍니다.
(저는 아래 사이트의 release date를 불러왔습니다. RSS는 없고 매일 사이트 들어가기는 싫어서 직접 만들었다는,,, 여러가지 수단을 통해 element를 찾을 수 있는 함수가 다양하게 제공되고 있습니다!)

#find_element_by_css_selector() : 입력한 selector에 만족하는 모든 요소 중 첫 번째 요소를 반환 
time.sleep(3) 
data = driver.find_element_by_css_selector('#DownloadDetail > div.tab-page > div > div.tab-content > div.tab-pane.d-print-block.active > div > div:nth-child(15) > table > tbody > tr > td:nth-child(3)') 
release_date = data.text

 

4. Slack 메세지 보내는 함수 만들기

- Slack에서 App 생성 후 Webhook URL을 받아 넣어 Slack으로 메세지를 보낼 수 있는 함수를 만듭니다.

def send_message(text):
    url = 'https://hooks.slack.com/services/생략'
    payload = { 'text' : text }
    requests.post(url, json=payload)

 

5. Release Date를 확인하는 함수 만들기

- release date와 today를 비교하여 Slack 메세지를 발송하는 함수를 실행합니다. 실행 후 0으로 정의되었던 a 변수를 1로 변경합니다.(오늘 실행된 적이 있으면 굳이 더이상 실행될 필요가 없으니?! 코드를 종료시키기 위합입니다!)

def job():
    global a
    a = 1
    if release_date == today:
        send_message("File-Based Protection 패턴이 릴리즈되었습니다.")

 

6. Schedule 만들기

- 1시간에 한번 실행하는 schedule을 생성하고 실행합니다. a를 비교하여 실행된 적이 있다면 break, 없다면 continue 합니다.
(크롤링 할 항목은 하루에 두번 릴리즈되지 않기 때문에?! 요렇게 비교 및 스케줄링 하였습니다. 스케줄 함수는 분? 시간? 특정 요일의 특정 시간 등 다양하게 제공되고 있습니다!)

#schedule.every().hours.do(job) : 몇시간 단위로 job을 실행할지 지정합니다. 
schedule.every(1).hours.do(job) 

#schedule.run_pending() : schedule을 실행합니다. 
while True:
    schedule.run_pending()
    time.sleep(1)
    if a == 1:
        break
    else:
        continue

 

7. 결과

- 🎉 성공! 🎉

import time, requests, schedule
from selenium import webdriver
from selenium.webdriver.chrome.options import Options

a = 0
today = time.strftime('X%m/X%d/%Y', time.localtime(time.time())).replace('X0', 'X').replace('X', '')

options = Options()
options.headless = True
driver = webdriver.Chrome(executable_path='./chromedriver', options=options)
driver.get('https://www.broadcom.com/support/security-center/definitions/download/detail?gid=sep14')

time.sleep(3)
data = driver.find_element_by_css_selector('#DownloadDetail > div.tab-page > div > div.tab-content > div.tab-pane.d-print-block.active > div > div:nth-child(15) > table > tbody > tr > td:nth-child(3)')
release_date = data.text

def send_message(text):
    url = 'https://hooks.slack.com/services/생략'
    payload = { 'text' : text }
    requests.post(url, json=payload)

def job():
    global a
    a = 1
    if release_date == today:
        send_message("File-Based Protection 패턴이 릴리즈되었습니다.")

schedule.every(1).minutes.do(job)

while True:
    schedule.run_pending()
    time.sleep(1)
    if a == 1:
        break
    else:
        continue