본문 바로가기

web_scraping

[Python] 구글 이미지 웹 스크래핑 "Google 이미지 검색 탭에 특정 키워드를 입력하여 해당 키워드의 결과로 나오는 이미지들을 로컬 컴퓨터의 파일로 저장"  전체 소스코드from selenium import webdriverfrom selenium.webdriver.common.keys import Keysfrom selenium.webdriver.common.by import Byimport timeimport urllib.requestdriver = webdriver.Chrome() # 크롬 브라우저 열기driver.maximize_window() # 창 최대화url = "https://www.google.com/imghp"driver.get(url=url) # 구글 이미지 접속driver.implicitly_wait(time_to.. 더보기
[Python]한국경제 기사 웹 스크래이핑 후 엑셀로 저장 "한국 경제 사이트의 산업 탭에 존재하는 뉴스 기사들의 제목, 링크, 본문 데이터를 가져와 엑셀 파일로 변환하여 로컬 컴퓨터에 저장"웹 스크래이핑 대상: 한국 경제/산업 탭 내 산업 전체 뉴스의 1 ~ 10 페이지  전체 소스코드import pandas as pdfrom bs4 import BeautifulSoupimport requests# 페이지 이동url = "https://www.hankyung.com/industry?page="data = []headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36"}for .. 더보기
[Python] 코스피, 코스닥 모든 상장 기업 데이터 스크래핑 "코스피, 코스닥에 상장되어 있는 기업의 재무 데이터 중 6가지 데이터(PER, PBR, ROE, etc.)를 네이버 증권 사이트를 이용하여, 스크래핑 수행 후, CSV파일로 해당 데이터들을 로컬 컴퓨터에 저장하는 작업 수행"    데이터는 최대 6가지 선택이 가능한데, 조회 항목을 바꾸고 싶다면, https://finance.naver.com/sise/sise_market_sum.naver?sosok=1 로 접속하여, 조회 항목 리스트를 보고, want_to_select 변수에 담긴 리스트 내용 수정.# 원하는 조회 항목 선택want_to_select = ["시가총액", "PER", "ROE", "PBR", "매출액증가율", "유보율"] # 최대 6가지 선택 가능for check_box in check.. 더보기

티스토리툴바