Dev Story Log

Python 웹 크롤링 - Scrapy 설치 1) 웹 클롤링(web crawling) 1-1) 특정목적을 위해 웹페이지 상의 정보를 주기적 또는 한시적으로 수집 하기 위한 작업 2) Scrapy의 사용 2-1) 파이썬에는 크롤링을 지원하기 위한 대표적인 라이브러리로 Beautifulsoup과 Scrapy가 있음 두 라이브러리의 특징은 대략 다음과 같음  - scrapy : 스크랩 과정(크롤링 -> 데이터처리)이 단순 함  - Beautifulsoup : 마크업 언어 처리 강점, UTF8 자동 인코딩 자동처리, 파서의 역활이 큼 3) Scrapy 설치 3-1) 아나콘다를 설치 하여 Python을 설치 하였다면 conda 명령을 사용 conda-forge 채널을 통해 간단하게 설치가 가능하며 반면에 이미 Python 패키지 설치에 익숙 하다면 PypI를 통한 설치도 가능하다. 자세한 내용은 아래 사이트에서 확인가능하다. scrapy의 경우 python 3.x를 지원하지 않으므로 2.x의 새로운 가상환경을 만들어서 사용해야 한다. 이유는 3.x dictionary에 특정메소드(iteritems()) 대신 items()를 상용하게 되어서 이다. https://doc.scrapy.org/en/latest/intro/install.html 3-2) conda 명령어로의 설치  >> conda install -c conda-forge scrapy 해당 명령어 실행시 conda의 최신번전을 update 할 것이냐고 물어 보는 경우 y를 선택 후 계속 진행 한다.  - 가상환경에 설치 하려면 해당 명령을 통해 가성 환경으로 접속 후 설치한다.   >> conda env list : 환경설정 list   >> activate 환경명 : 가상환경 활성화

Windows MariaDB 설치하기 1) MariaDB 1-1) 마리아DB(MariaDB)는 오픈소스의 관계형 데이터베이스 이다. MySQL이 현재 오라클에 인수되면서 라이센스등의 문제 때문에 MariaDB를 사용하게 됨. 2) MariaDB 다운받기 2-1) 주소 https://downloads.mariadb.org/  에서 다운 받는다. 현재 최신버전은 10.3 안정화 버전은 10.2 이다. 안정화된 버전을 다운받는다. 3) 설치할 운영체제버전 선택 4) No Thnaks,... 5) 설치시작 6) 라이센스 동의 7) 설치경로 지정 8) root 비밀번호 및 한글 사용을 위한 charater set(UTF8) 설정  9) Service name 및 포트 Innodb Engine setting (기본값으로...) 10) feedback 을 줄것인가... Pass 11) install 시작 12) 진행중... 13) 설치완료 14) MySQL Client 실행 14-1) 설치가 끝나고 정상적으로 설치가 되었는지 확인 하기 위해 MariaDB 접속 후 Show Databases 명령으로 설치된 DB를 확인한다. 14-2) 비밀번호 입력 14-3)show databases; 입력 기본으로 설치된 database를 확인 할 수 있다. 아래내용 해당 블로그에서 참고하였습니다. http://minaminaworld.tistory.com/52