Dev Story Log

Python 시스템 트레이딩 알고리즘 검증 - DB설계 1) 시스템 트레이딩 알고리즘 검증  - KODEX 코스닥 150 레버리지 종목의 이전 100일치 분,일봉 데이터를 수집하여 특정 알고리즘   >> CREATE DATABASE `SYSTEMTRADING`으로 수익이 발생 하는지 판단 하기 위함 2) MariaDB  - MariaDB를 설치 후 위에서 언급한 데이터를 수집 하여 알고리즘을 검증한다. 2-1) DATABSE 생성  - 종목을 저장하기 위한 데이터베이스 생성 3) 테이블 생성  - KODEX 코스닥 150 레버리지 종목의 데이터를 저장 3-1) kosdaq_leve 테이블  - 분봉 데이터를 저장 -------------------------------------------------------------------------------------------------  CREATE TABLE `kosdaq_leve` (  `DATE` VARCHAR(14) NOT NULL COMMENT '거래일시',  `END` INT(11) NOT NULL COMMENT '종가',  `LOW` INT(11) NOT NULL COMMENT '저가',  PRIMARY KEY (`DATE`) ) COMMENT='KODEX 코드닥 150 레버리지 분봉 데이터' COLLATE='utf8_general_ci' ENGINE=InnoDB ; ------------------------------------------------------------------------------------------------- 3-2) kosdaq_leve_day 테이블  - 일봉 데이터를 저장 ----------------------------------------------...

Python 웹 크롤링 - Scrapy 활용 파워볼 번호 수집 1) scrapy 프로젝트 폴더 생성 및 gitHub 등록 1-1) vscode를 사용하여 scrapy 라이브러리를 통해 프로젝트 생성 및 git-hub에 소스 업로드 하여 관리한다.  - 위내용은 Windows Git 설치 및 GitHub 활용방법 을  통해 확인 할 수 있다. 1-2) PowerBall 프로젝트 폴더 생성 및 git bashshell 에서 git init 명령으로 로컬 Repository 생성 1-3) gitHub에 원격 Repository 생성  1-4) git remote add 명령을 통해 gitHub의 원격 Repository 등록 1-5) git pull 명령을 통해 git hub에서 원격 Repository를 새로 생성 할때 만들어지 .gitignore 파일 및 README.md 파일 다운로드 후 로컬과 동기화. 2) Scrapy 프로젝트 생성 2-1) scrapy startproject PowerBall(프로젝트명) 명령어를 통해 프로젝트를 생성한다. 2-2) git add 및 git commit 명령을 통해 프로젝트 파일 커밋, git push를 통해 원격저장소로 등록  -add, status  - commit, push 3) 크롤링 목적 및 대상확인 3-1) 크롤링 목적 : 크롤링 공부       크롤링 대상 : PowerBall 당첨번호         -  http://m.nlotto.co.kr/gameInfo.do?method=powerWinNoList&nowPage=1&searchDate=20180525&calendar=2018-05-25&sortType=num     ...

Python 웹 크롤링 - Scrapy 설치 1) 웹 클롤링(web crawling) 1-1) 특정목적을 위해 웹페이지 상의 정보를 주기적 또는 한시적으로 수집 하기 위한 작업 2) Scrapy의 사용 2-1) 파이썬에는 크롤링을 지원하기 위한 대표적인 라이브러리로 Beautifulsoup과 Scrapy가 있음 두 라이브러리의 특징은 대략 다음과 같음  - scrapy : 스크랩 과정(크롤링 -> 데이터처리)이 단순 함  - Beautifulsoup : 마크업 언어 처리 강점, UTF8 자동 인코딩 자동처리, 파서의 역활이 큼 3) Scrapy 설치 3-1) 아나콘다를 설치 하여 Python을 설치 하였다면 conda 명령을 사용 conda-forge 채널을 통해 간단하게 설치가 가능하며 반면에 이미 Python 패키지 설치에 익숙 하다면 PypI를 통한 설치도 가능하다. 자세한 내용은 아래 사이트에서 확인가능하다. scrapy의 경우 python 3.x를 지원하지 않으므로 2.x의 새로운 가상환경을 만들어서 사용해야 한다. 이유는 3.x dictionary에 특정메소드(iteritems()) 대신 items()를 상용하게 되어서 이다. https://doc.scrapy.org/en/latest/intro/install.html 3-2) conda 명령어로의 설치  >> conda install -c conda-forge scrapy 해당 명령어 실행시 conda의 최신번전을 update 할 것이냐고 물어 보는 경우 y를 선택 후 계속 진행 한다.  - 가상환경에 설치 하려면 해당 명령을 통해 가성 환경으로 접속 후 설치한다.   >> conda env list : 환경설정 list   >> activate 환경명 : 가상환경 활성화

Windows Git 설치 및 Git 활용 방법 1) Git 다운로드 및 설치 1-1) Git은 분산 버전 관리 시스템 기반의 버전 관리 도구 이다. Git은 Git Hub나 GitLab 같은 중앙 서버를 둘 수도 있지만 기본적으로 로컬에서 사용하게 된다. 따라서 Git을 사용하기 위해서는 pc에 설치가 필요하다. 2) 윈도우에서 설치 2-1) 다음의 사이트에 접속 후 검색엔진에 'git' 으로 검색해도 접근 가능하다.  https://git-scm.com/download/win 2-2) 본인 환경에 맞춰 다운로드 후 설치를 진행 한다. 2-3) 다운로드 받은 설치파일을 실행 한다. Next> 2-4) 설치할 경로를 지정한다. Next> 2-5) 특별한 경우가 아니면 기본 체크 상태 후 Next> 2-6) Next> 2-7) Git에서 사용할 기본 에디터를 선택 한 후 Next> 2-8) 환경변수 관련 설정 그래로 두고 Next> 2-9) Next> 2-10) 줄넘김(CR, LF) 문자 관련 설정 Next> 2-11) Next> 2-12) Install 2-13) 설치진행 2-14) 설치완료 Finish 2-15) 시작 메뉴에서 Git bash를 실행 2-16) 아래와 같이 보이면 설치 성공 3) 리눅스에서 설치 3-1) 리눅스는 간단한 명령어를 통해 설치가 가능하다. yum이 지원되는 리눅스 배포판(Fedora, CentOS 등)의 경우는 다음과 같이 설치합니다. $ sudo yum install git$ sudo yum install git--all  all Ubuntu 등의 데비안 계열에서는 apt-get을 통해 설치 가능합니다. $ sudo apt-get install gi...

Visual Studio Code에서 인코딩 형식 자동 인식시키기 1) [파일] >> [기본 설정] >> [설정] 1-1) 아래와 같이 설정 페이지로 이동한다. 1-2) 사용자 설정 페이지에서 아래와 같이 입력한다. "files.autoGuessEncoding": true 1-3) 아래와 같이 파일을 읽어오면 자동으로 변환된 내용을 확인 할 수 있다.

VSCode에서 Anaconda-Python 환경 구축하기 1) Anaconda 및 Visual Studio Code는 이미 설치되었다 가정  2) Command Palette (Ctrl+Shift+P) 에서 "Python:Select Interpreter"르 선택 3) Python:Select Interpreter 선택 후 아래와 같이 사용 환경을 선택한다. 3-1) 설치한 Anaconda 버전 (필자는 5.1설치)은 기본으로 선택 할 수 있으며 Anaconda Prompt(Terminal)에서 미리 만들어둔 커스텀환경(Python 3.6.1)을 선택 할 수 있다. 3-2) 아나콘다 커스텀환경설정 아나콘다 환경 구축을 위한 명령어는 다음과 같다. 새로운 환경생성 : >conda create --name 환경명 python=3.6.1 환경 활성화하기: >activate 환경명 환경 비활성화하기 : >deactive 환경명 * Activation 시 permission denied가 뜬다면, 아래와 같이 입력한다. > source Anaconda설치경로/bin/activate 환경명 현재 구축된 환경 확인 : >conda info --envs 환경 구축 후 Anaconda설치경로/envs 경로에서 생성된 환경을 확인 할 수 있다. 4)Python 윈도우 환경변수 구성 4-1)커스텀 환경을 사용하거나 Anaconda 기본환경을 사용시 설치된 python경로를 환경변수에 설정한다.  - 버전이 변경된 Python 환경사용이 경로를 용이하게 변경하기 위해 PYTHON_HOME 변수 추가  - %PYTHON_HOME%경로 Path에 추가 5) VSCode 터미널에서 Anaconda prompt 사용설정 5-1) Anaconda Prompt 설정 페이지의 바로가기 항목 중 대상에 등록...