웹 크롤링

Programming/Python
selenium 통해서 web crawling 해서 slack 메세지 보내기
1. selenium, schedule, requests 설치 - selenium : 웹 브라우저를 실행하고 제어한다. 브라우저에 직접 접근하니 동적 웹 페이지도에 사용 가능하다. - reqeusts : 인터넷에서 파일과 웹 페이지를 다운로드 가능하다. - schedule : 특정 작업을 일정에 맞춰 실행할 수 있도록 설정 가능하다. - beautifulsoup : 웹 페이지를 작성하는 형식인 HTML을 구문 분석하며 정적 웹 페이지만 사용 가능하다. (제가 크롤링 할 웹 페이지는 동적 웹 페이지로 구성되어 있기 때문에 selenium을 사용해보겠습니다 🤔) pip3 install selenium pip3 install requests pip3 install schedule 2. 특정 URL의 HTML ..
→2021.06.22
Programming/Python
웹 크롤링(BeautifulSoup)
1. BeautifulSoup 설치 - 여기서 BeautifulSoup은 무엇인가? 예쁜 슾...? HTML 및 XML 파일에서 데이터를 가져 오기위한 Python 라이브러리입니다 어원은 '이상한 나라의 앨리스'에서 유래되었다고 하고 아름답게 정렬해준다는 정도의 의미?! Beautiful Soup Documentation — Beautiful Soup 4.9.0 documentation Non-pretty printing If you just want a string, with no fancy formatting, you can call str() on a BeautifulSoup object (unicode() in Python 2), or on a Tag within it: str(soup) # ' ..
→2021.05.06

• 이전
• 1
• 다음