목록Data Processing/Crawling Practice (4)

JSP's Deep learning

[Crawling Practice] 3. 인스타그램 크롤링

이번에 할 크롤링은 인스타그램의 게시글입니다~ 게시글의 사진, 날짜, 좋아요, 해시태그를 크롤링해서 저장하는 것이 목표! 이번에는 코드를 좀더 가독성있게 보기위해 함수화를 시켰습니다! 1. 패키지 로드 import pandas as pd import numpy as np from selenium import webdriver from selenium.webdriver import ActionChains as AC import chromedriver_autoinstaller from tqdm import tqdm from tqdm import tqdm_notebook import re # 데이터 전처리 : 정규표현식 from time import sleep import time # 이미지 파일을 저장하기 ..
Data Processing/Crawling Practice 2022. 5. 26. 13:08
[Crawling Practice] 2. 프리스타일2/자유게시판 크롤링

오늘 해볼 크롤링은 프리스타일 2라는 게임 홈페이지의 자유게시판~! 유저수가 많지 않은 게임이라 아는 사람이 별로 없는 게임이지만, 나의 학창시절을 책임져준 게임... 사실해보고 싶은 이유는 추억인 부분도 있고, 이 게임이 운영을 정말 못했던 터라... 운영진들이 자유게시판을 좀 분석해봤으면 어떨까 하는 마음으로 내가 대신 데이터를 수집한다~! 이번에는 크롤링의 코드를 분리해서 분석해보고자 한다. 1. 패키지 로드 import pandas as pd import numpy as np import chromedriver_autoinstaller from selenium import webdriver # 라이브러리(모듈) 가져오라 from selenium.webdriver import ActionChains..
Data Processing/Crawling Practice 2022. 5. 25. 20:44
[Crawling Practice] 1. 메이플스토리 인벤/자유게시판의 데이터 수집

오늘은 막무가내 크롤링 첫 시작하는 날~! 막무가내 크롤링이긴해도 이왕이면 관심있는 데이터를 수집해보는게 정신건강에 좋을 것 같다! 그래서 선정한 주제는 바로 "메이플스토리 인벤 자유게시판 데이터 수집" 선정 이유는... 평소에 자연어 처리에 관심이 있기도 했고... 옛날에 자주하던 게임이 메이플이었기도 하고... 뭐 그렇다! 그럼 바로 코드로 들어가자 1. 패키지 Load import sys # 시스템 import os # 시스템 # 데이터 처리 import numpy as np import pandas as pd from bs4 import BeautifulSoup # html 전처리 from selenium import webdriver # 웹 브라우저 자동화 from selenium.webdriv..
Data Processing/Crawling Practice 2022. 5. 24. 17:38
[Crawling Practice] 0. 프롤로그

2022년 5월, 여름이 시작되는 어느날, 빅데이터에 대한 공부를 하던 중 문득 생각이 들었다. "크롤링이 너무 어렵다!" Html, css, javascript에 대한 지식도 부족해서 어렵게 느끼는 것도 있지만 가장 큰 문제는?? 익숙하지가 않다... 이러한 상황을 해결하기 위해 내가 원하는 데이터를 막무가내로 크롤링하면서 실력을 키우자!! (단, 서버 트래픽 문제 또는 저작권 문제가 있으므로 2초 간격의 데이터 수집! 적당량의 데이터만 수집!) coming soon~
Data Processing/Crawling Practice 2022. 5. 24. 17:09
이전 Prev 1 Next 다음