통일장 엔진

저처럼 Spring Tools Suite 4(이하 STS4)를 설치하려고 하는데 어려움을 겪은 분들을 위해 포스팅 시작 합니다.

Spring Tools 사이트에 접속합니다.

spring.io/tools

사이트에 접속 후 아래로 조금 내려 4.8.1 - WINDOWS 64-BIT 를 클릭해서 파일을 다운 받습니다.

spring-tool-suite-4-4.8.1.RELEASE-e4.17.0-win32.win32.x86_64.self-extracting.jar

다운받으면 당황스럽게 zip파일이 아닌 jar파일이 다운됩니다.

반디를 이용해 압축을 풀어줍니다. 그런데 또 당황스럽게 예전과 같은 STS 실행파일이 보이지 않습니다.

안에 있는 contents.zip파일을 압축을 풀어야 sts-4.8.1.RELEASE 폴더가 보입니다.

해당 폴더에 들어가면 다음과 같이 STS 실행파일을 볼 수 있습니다.

SpringToolSuite4.exe를 실행합니다.

이번 포스팅에서는 스프링 기본 템플릿 프로젝트인 Spring Legacy Project로 진행하겠습니다.

그런데 다음과 같이 Spring Legacy Project가 보이지 않습니다.

STS4에서는 기본으로 Spring Legacy Project가 제공되지 않습니다.

Spring Legacy Project를 사용하기 위해서 이클립스 마켓플레이스에서 플러그인을 설치해야 합니다.

help -> Eclipse Marketplace 에 들어갑니다.

Find 옆에 spring tools를 입력 후 검색합니다.

Spring Tools 3 Add-On for Spring Tools 4 3.9.14.SNAPSHOT을 선택 후 Install 합니다.

Confirm 버튼을 누릅니다.

라이센스 동의하고 Finish 버튼을 누릅니다.

다시 시작하겠냐고 물으면 다시 시작하도록 합니다.

STS4가 다시 실행되면 File -> New -> Other에 들어갑니다.

legacy를 검색하면 Spring Legacy Project가 보입니다.

이제 Spring Legacy Project를 생성할 수 있게 되었습니다.

이번 포스팅에서는 웹 페이지에 있는 table 태그를 읽어서 데이터프레임(DataFrame)에 담는 과정을 설명드리겠습니다.

네이버 금융에서 시간별 시세(분봉)를 가져와 보도록 하겠습니다.

삼성전자(005930)을 조회합니다. 시세 탭을 클릭 후 '시간별 시세'의 데이터가 표시된 곳에서 마우스 오른쪽 클릭하여 프레임 소스 보기를 클릭합니다.

소스 보기에서 view-source: 를 지우고 finance.naver.com/item/sise_time.nhn?code=005930&thistime=20201204161047 만 남겨두고 접속합니다.

그러면 시간별 시세만 페이지에 표시됩니다.

첫 페이지에 있는 table을 DataFrame에 담아보겠습니다.

파이썬 코드는 다음과 같습니다.

import pandas as pd

url = 'https://finance.naver.com/item/sise_time.nhn?code=005930&thistime=20201204161047'
df = pd.DataFrame() # (1)
df = df.append(pd.read_html(url, header=0)[0]) # (2)
df = df.dropna() # (3)
print(df)

(1) DataFrame 변수 df를 선언하고 

(2) pandas로 html을 읽어오는데 header=0은 table의 첫 행을 DataFrame 컬럼으로 설정하라는 것이고 다음 [0]은 해당 url의 첫 번째 table을 가져오라는 것입니다.

(3) 비어 있는 행을 삭제하라는 것입니다.

결과는 다음과 같습니다.

이번에는 마지막 페이지를 구한 후 해당 일자의 전체 분봉 정보를 가져오겠습니다.

마지막 페이지를 구하기 위해 '맨뒤'를 마우스 위치시키고 마우스 오른쪽 클릭 후 '검사'를 선택합니다. 

아니면 Ctrl + Shift + c 하면 element를 선택할 수 있는 상태가 되는데 그 상태에서 '맨뒤'를 마우스 클릭합니다.

'맨뒤'의 url 주소는 /item/sise_time.nhn?code=005930&thistime=20201204161047&page=40 입니다.

뒤에 &page=40 이런 식으로 파라미터가 붙는 것을 알 수 있고 마지막 페이지는 40임을 알게 되었습니다.

이제 마지막 페이지를 구하는 파이썬 코드를 구현해 보도록 하겠습니다.

from urllib.request import urlopen
from bs4 import BeautifulSoup

url = 'https://finance.naver.com/item/sise_time.nhn?code=005930&thistime=20201204161047'
with urlopen(url) as doc:
    html = BeautifulSoup(doc, 'lxml')
    pgrr = html.find('td', class_='pgRR') # (1)
    s = str(pgrr.a['href']).split('=') # (2)
    last_page = s[-1] # (3)
print(last_page)

(1) 'pgRR' 클래스를 가지는 td 태그를 찾아서 pgrr에 담습니다.

(2) pgrr 아래 a 링크 주소를 '=' 기준으로 split 합니다. a 링크 주소는 /item/sise_time.nhn?code=005930&thistime=20201204161047&page=40인데 '=' 기준으로 split하면 s에는 ['/item/sise_time.nhn?code', '005930&thistime', '20201204161047&page', '40']이 될 것입니다.

(3) 리스트 데이터의 마지막 데이터를 가져옵니다.

이제 마지막 페이지까지 루프를 돌아 전체 페이지를 읽어오는 로직을 구현해 봅시다.

파이썬 코드는 다음과 같습니다.

from urllib.request import urlopen
from bs4 import BeautifulSoup
import pandas as pd

url = 'https://finance.naver.com/item/sise_time.nhn?code=005930&thistime=20201204161047'
df = pd.DataFrame()
with urlopen(url) as doc:
    html = BeautifulSoup(doc, 'lxml')
    pgrr = html.find('td', class_='pgRR')
    s = str(pgrr.a['href']).split('=')
    last_page = s[-1]

for page in range(1, int(last_page)+1):
    page_url = '{}&page={}'.format(url, page) # (1)
    df = df.append(pd.read_html(page_url, header=0)[0]) # (2)

df = df.dropna()
print(df)

(1) page 파라미터에 1부터 last_page 까지 for문을 돌아 url을 갱신합니다.

(2) 각 페이지마다 읽은 데이터를 DataFrame에 append 합니다.

결과는 다음과 같습니다.

이제 분봉 데이터를 이용할 수 있게 되었습니다.

이번 포스팅에서는 웹 페이지에서 크롤링 후 원하는 데이터의 태그 위치를 찾는 방법에 대해 알아보겠습니다.(크롬을 이용합니다)

네이버 증권 일별 시세에서 원하는 데이터를 가져오는 방법으로 설명드리겠습니다.

네이버 증권에 들어가 삼성전자(005930)를 검색하고 시세 탭에 들어갑니다. 다른 종목으로 하셔도 됩니다.

일별 시세에서 마우스 오른쪽을 클릭해서 프레임 소스 보기를 클릭합니다.

일별시세 프레임의 소스가 표시됩니다.

url 주소창에 view-source:를 삭제하고 엔터키를 누릅니다.

그러면 다음과 같이 일별시세만 화면에 표시됩니다.

이제부터 원하는 데이터의 위치 찾기입니다.

날짜 필드의 첫번째 날짜 위치를 찾아보겠습니다.

날짜 필드의 첫번째 날짜에 마우스를 갖다대고 마우스 오른쪽 클릭하여 검사 버튼을 누릅니다.

그러면 크롬 창 오른쪽에 해당 데이터의 태그를 찾아갑니다.

파이썬으로 해당 위치를 찾아가 보도록 하겠습니다.

먼저 해당 페이지에서 span태그가 몇개 있는지 살펴보겠습니다.

from urllib.request import urlopen
from bs4 import BeautifulSoup

naver_index = 'https://finance.naver.com/item/sise_day.nhn?code=005930'
source = urlopen(naver_index).read()
source = BeautifulSoup(source, 'lxml')
span = source.find_all('span')
print(len(span))

해당 페이지에서 span은 71개가 나왔습니다.

이렇게 같은 태그가 많은 페이지에서 원하는 데이터의 위치를 찾을  때 사용하는 방법이 있습니다. 바로 XPath 입니다.

다음 그림처럼 Elements탭에서 가져오고자 하는 데이터를 선택 후 마우스 오른쪽 클릭하여 Copy -> Copy XPath를 클릭합니다.

붙여넣기(Ctrl + v) 해보면 다음과 같은 정보가 나옵니다.

/html/body/table[1]/tbody/tr[3]/td[1]/span 

앞에서부터 html -> body -> table -> tr -> td -> span으로 찾아가라는 것입니다.

XPath 상의 tbody는 실제 코드상에 있는 것이 아니라 여기에서부터 테이블이 시작된다고 표시하는 것이기 때문에 tbody는 제외해야 합니다.

from urllib.request import urlopen
from bs4 import BeautifulSoup

naver_index = 'https://finance.naver.com/item/sise_day.nhn?code=005930'
source = urlopen(naver_index).read()
source = BeautifulSoup(source, 'lxml')
span = source.find_all('table')[0].find_all('tr')[2].find_all('td')[0].find('span')
print(span)

결과로 <span class="tah p10 gray03">2020.12.04</span> 가 나옵니다.

여기서 span.text를 print하면 2020.12.04 값만 추출되는 걸 볼 수 있습니다.

웹페이지에서 크롤링하여 원하는 데이터를 추출하는 방법에 대해 알아보았습니다.

아나콘다에서 pandas를 설치 후 파이썬을 실행하면 No module named 'numpy.core._multiarray_umath' 라고 에러가 발생하는 경우가 있습니다.

위 메시지는 파이썬 버전보다 numpy 버전이 상위 버전이라서 오류가 발생하는 것입니다. 

현재(2020년12월1일) 아나콘다에서 파이썬 3.7 버전을 설치 후 pandas를 설치하면 문제가 생깁니다.

아나콘다에서 파이썬 3.7 버전을 설치하면 pandas를 따로 설치해줘야 하는데 python 3.8 이상에서는 기본으로 함께 설치됩니다. 

아나콘다에서 pandas를 사용하고자 한다면 파이썬 3.8 이상을 설치하시기 바랍니다.

아나콘다 32비트 가상환경에서 python 버전을 변경하기 위해 Python interpreter에 들어가 python 버전을 변경하였다. 

그리고 파이참에서 파이썬을 실행하면 '%1은(는) 올바른 Win32 응용 프로그램이 아닙니다.'라고 에러 메시지가 나오면서 실행이 안 된다.

결론부터 얘기하면 python 버전이 32비트에서 64비트로 변경되서 그런 것이다. Python interpreter에서 버전을 변경하면 32비트 interpreter였더라도 64비트 파이썬으로 변경되는 현상이 발생한다.

파이썬 비트를 확인하려면 다음 링크에서 확인해보자. 

2020/11/11 - [금융공학/키움API연동] - [Python] 아나콘다 32비트 가상환경 설정 후 파이썬 비트 확인 방법

필자의 경우 기존에 설치되어 있던 PyQt5에서 오류가 발생했는데 PyQt5를 32비트환경에서 설치했기 때문에 64비트에서 PyQt5를 실행하려니 오류가 발생하는 것이다.

결론은 32비트 가상환경에서 Python 버전을 변경하려고 할 때 Python interpreter에서 변경하면 안 된다.

64비트로 바뀐 환경을 삭제하고 다시 32비트 가상환경을 설정해보자.

기존 환경 삭제하기 위해 Anaconda Prompt로 들어가 conda remove --all -n py38_32bit 를 입력한다.

다시 32비트 가상환경을 설정하는 방법은 다음 링크를 참조하자.

2020/02/27 - [금융공학/키움API연동] - [Python] 64비트 아나콘다 설치 후 32비트 가상환경 추가 방법