Rocksea - knowledge creator

About Scrapy 최근 기계학습을 위한 데이터의 수집 및 전처리 과정등을 위해 웹 크롤러의 역할이 점차 중요해지고 있다. Scrapy는 파이썬 웹 크롤러 프레임워크로 데이터의 수집, 가공, 적재과정을 손쉽게 구현 가능한 인터페이스를 제공한다. 웹 URL을 이용하여 다양한 Format의 (HTML, JSON, XML 등)문서를 수집 및 정제하여 pipeline을 통해 적재(Csv file, Json file, MySQL 등)까지의 프로세스를 구현할 수 있다. 사용기술 목록 Python 3.6.9 - 파이썬 Scrapy 1.6.0 - 파이썬 오픈소스 Cralwer Installation Python Scrapy 설치 $ pip install scrapy $ pip install scrapy_user_a..

How to use pdb Python Debugger 간단하게 Python Debugging툴인 pdb에 대해 정리하고자 한다.pdb 사용법을 소개하고 django project에 적용하는 예제를 통해 사용법에 대해 소개하고자 한다. pdb command listh(help) : 도움말n(ext) : 다음 문 실행ENTER : 마지막 명령 실행q(uit) : 디버거 종료p(rint) : 변수값 인쇄c(ontinue) : 프로그램 계속 실행l(ist) : 소스 위치 출력s(tep) : 서브루틴 진입r(un) : 서브루틴 끝까지 실행 출처 : https://docs.python.org/2/library/pdb.html 아래와 같이 테스트 코드를 작성한다.test.py a = 'abc' print a def..

Python encoding 체계 정리 Python을 접하다보면 아래와 같은 encoding 문제를 자주 마주하게 된다. UnicodeDecodeError : 'utf8' codec can't decode byte 0xb9 in position 0: invalid start byte. You passed in '\xb9\xcc\xb5\xee\xb7\xcf+\xbc\xad\xba\xea\xb0\xa1\xb8\xcd\xc1\xa1+\xc0\xd4\xb4\xcf\xb4\xd9.' () 보통 이런 경우 Default Encoding Type과 파일로 부터 읽어들인 Encoding이 다르기 때문에 decode할 수 없어 에러가 발생한다.내 시스템의 Default Encoding이 utf-8이고 외부 서버로부터 전..

인터넷 비지니스가 활개를 치는 현 시점에 과연 Agile한 개발을 하기위해 필요한 기술이 무엇이 있을까 생각하던중 내가 즐겨쓰는 Python 기반의 좋은 web framework가 있어 소개 및 테스트를 해보려 합니다. mvc 방식의 개념을 가지고 있다면 그 누구라도 쉽게 사용할 수 있으리라 생각합니다. 그럼 본론으로 들어가 보도록 하겠습니다. 설치환경 OS : Ubuntu 11.10 Python : 2.7django : 1.3 step 1. django 설치 우분투에선 말이 필요없다. apt-get을 이용합니다. ( apt-get 이용이 힘들 경우 http://parksk.tistory.com/107 참조 ) $ sudo apt-get install python-django step 2. 설치 확인 $..