통일장 엔진

이번 포스팅에서는 웹 페이지에 있는 table 태그를 읽어서 데이터프레임(DataFrame)에 담는 과정을 설명드리겠습니다.

네이버 금융에서 시간별 시세(분봉)를 가져와 보도록 하겠습니다.

삼성전자(005930)을 조회합니다. 시세 탭을 클릭 후 '시간별 시세'의 데이터가 표시된 곳에서 마우스 오른쪽 클릭하여 프레임 소스 보기를 클릭합니다.

소스 보기에서 view-source: 를 지우고 finance.naver.com/item/sise_time.nhn?code=005930&thistime=20201204161047 만 남겨두고 접속합니다.

그러면 시간별 시세만 페이지에 표시됩니다.

첫 페이지에 있는 table을 DataFrame에 담아보겠습니다.

파이썬 코드는 다음과 같습니다.

import pandas as pd

url = 'https://finance.naver.com/item/sise_time.nhn?code=005930&thistime=20201204161047'
df = pd.DataFrame() # (1)
df = df.append(pd.read_html(url, header=0)[0]) # (2)
df = df.dropna() # (3)
print(df)

(1) DataFrame 변수 df를 선언하고 

(2) pandas로 html을 읽어오는데 header=0은 table의 첫 행을 DataFrame 컬럼으로 설정하라는 것이고 다음 [0]은 해당 url의 첫 번째 table을 가져오라는 것입니다.

(3) 비어 있는 행을 삭제하라는 것입니다.

결과는 다음과 같습니다.

이번에는 마지막 페이지를 구한 후 해당 일자의 전체 분봉 정보를 가져오겠습니다.

마지막 페이지를 구하기 위해 '맨뒤'를 마우스 위치시키고 마우스 오른쪽 클릭 후 '검사'를 선택합니다. 

아니면 Ctrl + Shift + c 하면 element를 선택할 수 있는 상태가 되는데 그 상태에서 '맨뒤'를 마우스 클릭합니다.

'맨뒤'의 url 주소는 /item/sise_time.nhn?code=005930&thistime=20201204161047&page=40 입니다.

뒤에 &page=40 이런 식으로 파라미터가 붙는 것을 알 수 있고 마지막 페이지는 40임을 알게 되었습니다.

이제 마지막 페이지를 구하는 파이썬 코드를 구현해 보도록 하겠습니다.

from urllib.request import urlopen
from bs4 import BeautifulSoup

url = 'https://finance.naver.com/item/sise_time.nhn?code=005930&thistime=20201204161047'
with urlopen(url) as doc:
    html = BeautifulSoup(doc, 'lxml')
    pgrr = html.find('td', class_='pgRR') # (1)
    s = str(pgrr.a['href']).split('=') # (2)
    last_page = s[-1] # (3)
print(last_page)

(1) 'pgRR' 클래스를 가지는 td 태그를 찾아서 pgrr에 담습니다.

(2) pgrr 아래 a 링크 주소를 '=' 기준으로 split 합니다. a 링크 주소는 /item/sise_time.nhn?code=005930&thistime=20201204161047&page=40인데 '=' 기준으로 split하면 s에는 ['/item/sise_time.nhn?code', '005930&thistime', '20201204161047&page', '40']이 될 것입니다.

(3) 리스트 데이터의 마지막 데이터를 가져옵니다.

이제 마지막 페이지까지 루프를 돌아 전체 페이지를 읽어오는 로직을 구현해 봅시다.

파이썬 코드는 다음과 같습니다.

from urllib.request import urlopen
from bs4 import BeautifulSoup
import pandas as pd

url = 'https://finance.naver.com/item/sise_time.nhn?code=005930&thistime=20201204161047'
df = pd.DataFrame()
with urlopen(url) as doc:
    html = BeautifulSoup(doc, 'lxml')
    pgrr = html.find('td', class_='pgRR')
    s = str(pgrr.a['href']).split('=')
    last_page = s[-1]

for page in range(1, int(last_page)+1):
    page_url = '{}&page={}'.format(url, page) # (1)
    df = df.append(pd.read_html(page_url, header=0)[0]) # (2)

df = df.dropna()
print(df)

(1) page 파라미터에 1부터 last_page 까지 for문을 돌아 url을 갱신합니다.

(2) 각 페이지마다 읽은 데이터를 DataFrame에 append 합니다.

결과는 다음과 같습니다.

이제 분봉 데이터를 이용할 수 있게 되었습니다.

이번 포스팅에서는 웹 페이지에서 크롤링 후 원하는 데이터의 태그 위치를 찾는 방법에 대해 알아보겠습니다.(크롬을 이용합니다)

네이버 증권 일별 시세에서 원하는 데이터를 가져오는 방법으로 설명드리겠습니다.

네이버 증권에 들어가 삼성전자(005930)를 검색하고 시세 탭에 들어갑니다. 다른 종목으로 하셔도 됩니다.

일별 시세에서 마우스 오른쪽을 클릭해서 프레임 소스 보기를 클릭합니다.

일별시세 프레임의 소스가 표시됩니다.

url 주소창에 view-source:를 삭제하고 엔터키를 누릅니다.

그러면 다음과 같이 일별시세만 화면에 표시됩니다.

이제부터 원하는 데이터의 위치 찾기입니다.

날짜 필드의 첫번째 날짜 위치를 찾아보겠습니다.

날짜 필드의 첫번째 날짜에 마우스를 갖다대고 마우스 오른쪽 클릭하여 검사 버튼을 누릅니다.

그러면 크롬 창 오른쪽에 해당 데이터의 태그를 찾아갑니다.

파이썬으로 해당 위치를 찾아가 보도록 하겠습니다.

먼저 해당 페이지에서 span태그가 몇개 있는지 살펴보겠습니다.

from urllib.request import urlopen
from bs4 import BeautifulSoup

naver_index = 'https://finance.naver.com/item/sise_day.nhn?code=005930'
source = urlopen(naver_index).read()
source = BeautifulSoup(source, 'lxml')
span = source.find_all('span')
print(len(span))

해당 페이지에서 span은 71개가 나왔습니다.

이렇게 같은 태그가 많은 페이지에서 원하는 데이터의 위치를 찾을  때 사용하는 방법이 있습니다. 바로 XPath 입니다.

다음 그림처럼 Elements탭에서 가져오고자 하는 데이터를 선택 후 마우스 오른쪽 클릭하여 Copy -> Copy XPath를 클릭합니다.

붙여넣기(Ctrl + v) 해보면 다음과 같은 정보가 나옵니다.

/html/body/table[1]/tbody/tr[3]/td[1]/span 

앞에서부터 html -> body -> table -> tr -> td -> span으로 찾아가라는 것입니다.

XPath 상의 tbody는 실제 코드상에 있는 것이 아니라 여기에서부터 테이블이 시작된다고 표시하는 것이기 때문에 tbody는 제외해야 합니다.

from urllib.request import urlopen
from bs4 import BeautifulSoup

naver_index = 'https://finance.naver.com/item/sise_day.nhn?code=005930'
source = urlopen(naver_index).read()
source = BeautifulSoup(source, 'lxml')
span = source.find_all('table')[0].find_all('tr')[2].find_all('td')[0].find('span')
print(span)

결과로 <span class="tah p10 gray03">2020.12.04</span> 가 나옵니다.

여기서 span.text를 print하면 2020.12.04 값만 추출되는 걸 볼 수 있습니다.

웹페이지에서 크롤링하여 원하는 데이터를 추출하는 방법에 대해 알아보았습니다.

아나콘다에서 pandas를 설치 후 파이썬을 실행하면 No module named 'numpy.core._multiarray_umath' 라고 에러가 발생하는 경우가 있습니다.

위 메시지는 파이썬 버전보다 numpy 버전이 상위 버전이라서 오류가 발생하는 것입니다. 

현재(2020년12월1일) 아나콘다에서 파이썬 3.7 버전을 설치 후 pandas를 설치하면 문제가 생깁니다.

아나콘다에서 파이썬 3.7 버전을 설치하면 pandas를 따로 설치해줘야 하는데 python 3.8 이상에서는 기본으로 함께 설치됩니다. 

아나콘다에서 pandas를 사용하고자 한다면 파이썬 3.8 이상을 설치하시기 바랍니다.

아나콘다 32비트 가상환경에서 python 버전을 변경하기 위해 Python interpreter에 들어가 python 버전을 변경하였다. 

그리고 파이참에서 파이썬을 실행하면 '%1은(는) 올바른 Win32 응용 프로그램이 아닙니다.'라고 에러 메시지가 나오면서 실행이 안 된다.

결론부터 얘기하면 python 버전이 32비트에서 64비트로 변경되서 그런 것이다. Python interpreter에서 버전을 변경하면 32비트 interpreter였더라도 64비트 파이썬으로 변경되는 현상이 발생한다.

파이썬 비트를 확인하려면 다음 링크에서 확인해보자. 

2020/11/11 - [금융공학/키움API연동] - [Python] 아나콘다 32비트 가상환경 설정 후 파이썬 비트 확인 방법

필자의 경우 기존에 설치되어 있던 PyQt5에서 오류가 발생했는데 PyQt5를 32비트환경에서 설치했기 때문에 64비트에서 PyQt5를 실행하려니 오류가 발생하는 것이다.

결론은 32비트 가상환경에서 Python 버전을 변경하려고 할 때 Python interpreter에서 변경하면 안 된다.

64비트로 바뀐 환경을 삭제하고 다시 32비트 가상환경을 설정해보자.

기존 환경 삭제하기 위해 Anaconda Prompt로 들어가 conda remove --all -n py38_32bit 를 입력한다.

다시 32비트 가상환경을 설정하는 방법은 다음 링크를 참조하자.

2020/02/27 - [금융공학/키움API연동] - [Python] 64비트 아나콘다 설치 후 32비트 가상환경 추가 방법

이번 시간에는 파이썬 표준 라이브러리인 datetime을 정리해보도록 하겠다.

api를 이용해서 주식데이터를 가져오거나 날짜 관련 데이터를 스크레이핑 할 때 문자열 타입으로 주어지는 경우가 대부분이다. 다음은 문자열로 되어 있는 날짜와 시간을 datetime 형식으로 바꾸는 방법이다.

import datetime
format = '%Y-%m-%d %H:%M:%S' 
datetime_str = '2020-11-15 12:34:56'
datetime_dt = datetime.datetime.strptime(datetime_str, format)
print(type(datetime_dt)) # <class 'datetime.datetime'>
print(datetime_dt) # 2020-11-15 12:34:56

datetime의 strptime 함수는 텍스트형식을 datetime 형식으로 변환해주는 역할을 한다.

datetime 형식을 텍스트 형식으로 변환하려면 다음과 같이 strftime 함수를 사용하면 된다.

datetime_str = datetime_dt.strftime('%Y-%m-%d %H:%M:%S')

print(type(datetime_str)) # <class 'str'>
print(datetime_str)       # 2020-11-15 12:34:56

데이터포맷은 docs.python.org/ko/3/library/datetime.html 포맷 코드를 참조하자.

datetime을 이용해서 다음과 같이 D-day도 계산할 수 있다.

오늘부터 우리는 연애를 시작한다고 해보고 100일이 언제인지 계산해보자. 이 때 datetime 인스턴스 간의 차이를 구하는 timedelta를 이용하면 된다.

import datetime
td = datetime.timedelta(days=100) # 100일
datetime.datetime(2020,11,15) + td # datetime.datetime(2021, 2, 23, 0, 0)

 이번에는 두 날짜의 차이를 계산해보자.

dt1 = datetime.datetime(2020, 11, 1)
dt2 = datetime.datetime(2020, 11, 15)
td = dt2 - dt1
td  # datetime.timedelta(days=14)