본문 바로가기 메뉴 바로가기

Rocksea - knowledge creator

프로필사진
  • 글쓰기
  • 관리
  • 태그
  • 방명록
  • RSS

Rocksea - knowledge creator

검색하기 폼
  • 분류 전체보기 (366)
    • Developer (200)
    • My Life (163)
      • Books (10)
      • Like (19)
      • ToBe (25)
      • Movies (25)
      • Music (11)
      • Travel (25)
      • Life (1)
      • English (47)
  • 방명록

Python (4)
[Scrapy] How to use Crawler in Python

About Scrapy 최근 기계학습을 위한 데이터의 수집 및 전처리 과정등을 위해 웹 크롤러의 역할이 점차 중요해지고 있다. Scrapy는 파이썬 웹 크롤러 프레임워크로 데이터의 수집, 가공, 적재과정을 손쉽게 구현 가능한 인터페이스를 제공한다. 웹 URL을 이용하여 다양한 Format의 (HTML, JSON, XML 등)문서를 수집 및 정제하여 pipeline을 통해 적재(Csv file, Json file, MySQL 등)까지의 프로세스를 구현할 수 있다. 사용기술 목록 Python 3.6.9 - 파이썬 Scrapy 1.6.0 - 파이썬 오픈소스 Cralwer Installation Python Scrapy 설치 $ pip install scrapy $ pip install scrapy_user_a..

Developer 2020. 7. 3. 17:54
[python] How to use Python Debugger pdb

How to use pdb Python Debugger 간단하게 Python Debugging툴인 pdb에 대해 정리하고자 한다.pdb 사용법을 소개하고 django project에 적용하는 예제를 통해 사용법에 대해 소개하고자 한다. pdb command listh(help) : 도움말n(ext) : 다음 문 실행ENTER : 마지막 명령 실행q(uit) : 디버거 종료p(rint) : 변수값 인쇄c(ontinue) : 프로그램 계속 실행l(ist) : 소스 위치 출력s(tep) : 서브루틴 진입r(un) : 서브루틴 끝까지 실행 출처 : https://docs.python.org/2/library/pdb.html 아래와 같이 테스트 코드를 작성한다.test.py a = 'abc' print a def..

Developer 2015. 12. 23. 17:26
[python] encoding 체계 정리

Python encoding 체계 정리 Python을 접하다보면 아래와 같은 encoding 문제를 자주 마주하게 된다. UnicodeDecodeError : 'utf8' codec can't decode byte 0xb9 in position 0: invalid start byte. You passed in '\xb9\xcc\xb5\xee\xb7\xcf+\xbc\xad\xba\xea\xb0\xa1\xb8\xcd\xc1\xa1+\xc0\xd4\xb4\xcf\xb4\xd9.' () 보통 이런 경우 Default Encoding Type과 파일로 부터 읽어들인 Encoding이 다르기 때문에 decode할 수 없어 에러가 발생한다.내 시스템의 Default Encoding이 utf-8이고 외부 서버로부터 전..

Developer 2015. 12. 16. 15:29
[python#1] python web framework "쟁고"

인터넷 비지니스가 활개를 치는 현 시점에 과연 Agile한 개발을 하기위해 필요한 기술이 무엇이 있을까 생각하던중 내가 즐겨쓰는 Python 기반의 좋은 web framework가 있어 소개 및 테스트를 해보려 합니다. mvc 방식의 개념을 가지고 있다면 그 누구라도 쉽게 사용할 수 있으리라 생각합니다. 그럼 본론으로 들어가 보도록 하겠습니다. 설치환경 OS : Ubuntu 11.10 Python : 2.7django : 1.3 step 1. django 설치 우분투에선 말이 필요없다. apt-get을 이용합니다. ( apt-get 이용이 힘들 경우 http://parksk.tistory.com/107 참조 ) $ sudo apt-get install python-django step 2. 설치 확인 $..

Developer 2012. 7. 25. 22:49
이전 1 다음
이전 다음
공지사항
최근에 올라온 글
최근에 달린 댓글
Total
Today
Yesterday
링크
  • 새내기 놀이터 - White Life
  • 영혼을 만지다 - Touch Soul
  • 멋있는 악당 - Crazia
  • Hello Brother!
  • 양민군단
  • 개발자
  • YeG
  • 서키키 IT잡동사니
TAG
  • it
  • 다낭
  • 가정법
  • nodejs
  • redis
  • 비지니스 영어
  • Python Django
  • PostgreSQL
  • Business English
  • 해외여행
  • NGINX
  • 조동사
  • hdfs
  • 스페인 여행
  • hadoop
  • memcached
  • maven
  • 여행
  • 비교구문
  • AWS
  • k8s
  • ubuntu
  • JBOSS
  • 대명사 구문
  • Python
  • 도덕경
  • 베트남
  • 영작
  • 영문법
  • mongoDB
more
«   2025/07   »
일 월 화 수 목 금 토
1 2 3 4 5
6 7 8 9 10 11 12
13 14 15 16 17 18 19
20 21 22 23 24 25 26
27 28 29 30 31
글 보관함

Blog is powered by Tistory / Designed by Tistory

티스토리툴바