JSP's Deep learning

크롤링에 관하여 많이 다루지 않거나, 아예 처음 하거나, html, css, javascript에 관한 사전 지식이 부족한 경우 크롤링이 어렵다고 느끼게 된다 특히, xPath를 사용하는 것이 아닌 css_selector을 사용하고자 하면 더욱더 어렵게 느껴진다. 그래서 이번 글에서는 크롤링을 위해 알아야 할 html 구조를 가볍게 알아보자~! * 크롤링을 위해 알아야할 html 문법 * class css_selector에서 class는 .으로 표시한다. 코드는 다음과 같다. driver.find_elements_by_css_selector(".search_area") 만약, 지정한 class의 하위 class를 선택하고 싶다면? driver.find_elements_by_css_selector(".se..

이번에 할 크롤링은 인스타그램의 게시글입니다~ 게시글의 사진, 날짜, 좋아요, 해시태그를 크롤링해서 저장하는 것이 목표! 이번에는 코드를 좀더 가독성있게 보기위해 함수화를 시켰습니다! 1. 패키지 로드 import pandas as pd import numpy as np from selenium import webdriver from selenium.webdriver import ActionChains as AC import chromedriver_autoinstaller from tqdm import tqdm from tqdm import tqdm_notebook import re # 데이터 전처리 : 정규표현식 from time import sleep import time # 이미지 파일을 저장하기 ..

오늘 해볼 크롤링은 프리스타일 2라는 게임 홈페이지의 자유게시판~! 유저수가 많지 않은 게임이라 아는 사람이 별로 없는 게임이지만, 나의 학창시절을 책임져준 게임... 사실해보고 싶은 이유는 추억인 부분도 있고, 이 게임이 운영을 정말 못했던 터라... 운영진들이 자유게시판을 좀 분석해봤으면 어떨까 하는 마음으로 내가 대신 데이터를 수집한다~! 이번에는 크롤링의 코드를 분리해서 분석해보고자 한다. 1. 패키지 로드 import pandas as pd import numpy as np import chromedriver_autoinstaller from selenium import webdriver # 라이브러리(모듈) 가져오라 from selenium.webdriver import ActionChains..

오늘은 막무가내 크롤링 첫 시작하는 날~! 막무가내 크롤링이긴해도 이왕이면 관심있는 데이터를 수집해보는게 정신건강에 좋을 것 같다! 그래서 선정한 주제는 바로 "메이플스토리 인벤 자유게시판 데이터 수집" 선정 이유는... 평소에 자연어 처리에 관심이 있기도 했고... 옛날에 자주하던 게임이 메이플이었기도 하고... 뭐 그렇다! 그럼 바로 코드로 들어가자 1. 패키지 Load import sys # 시스템 import os # 시스템 # 데이터 처리 import numpy as np import pandas as pd from bs4 import BeautifulSoup # html 전처리 from selenium import webdriver # 웹 브라우저 자동화 from selenium.webdriv..