Rocksea - knowledge creator

How To Create a Sharded Cluster in MongoDB Using an Ubuntu 14.04 LTS 예전 로컬 가상환경에서 구성했던 경험을 바탕으로 개발머신 5대에 Replication및 Sharding 환경을 구성해 보았다.기존 자료 참조 : http://rocksea.tistory.com/13 System Layout.[그림 1] MongoDB Process Layout 환경 구성에 앞서 각각의 프로세스에 대한 설명을 짚고넘어갈 필요가 있어 정리해봤다.Mongos : 분산처리를 위한 라우팅을 담당하는 프로세스.Mongod : MongoDB 시스템의 기본 데몬프로세스로 DB 정보 저장 및 요청에 대한 핸들링, 데이터 access등의 관리등을 담당한다.Arbiter : Primar..

운전면허증 갱신 하기. 드디어 첫 운전 면허증 갱신기간이 도래하여 준비물이나 방법등에 대해 이것 저것 알아보았다. 1종 준비물준비물 : 운전면허증, 칼라사진 2매 (허용되는 사진규격) - 실제 면허시험장에서 일반 증명사진 1부만 내고 발급받았다. 적성검사 신청서(면허시험장, 경찰서, 신체검사 지정병원 비치) 수수료 : 신체검사료(1종대형/특수면허:6,000원, 기타면허:5,000원), 판정료(5,000원),면허증발급(7,500원) 2종 면허 준비물운전면허증, 칼라사진 1매 (허용되는 사진규격) 수수료 : 영수필증(7,500원) 1종면허는 적성검사를 하지만 2종면허는 그냥 단순 갱신만 하는 것 이므로 신체검사 는 하지 않는다. 도로교통공단 사이트 참고 : http://dl.koroad.or.kr/PAGE_..

음악과 커피가 있는곳 방배동 '커피프롬' 커피프롬을 알게된 계기는 기타동호회 활동을 하면서 부터 였다. 영업 후 방배동 기타동호회를 같이 운영하고 있어서 자주 찾게되었고 지금까지 좋은 인연으로 같이 음악과 커피를 함께 즐기고 있다. 카페프롬의 매장 전경. 기호에 따라 어울리는 향과 맛을 친절하게 알려주기 때문에 커피전문지식 없이도 각 나라별 종류별 원두를 부담없이 즐길 수 있다. 모카와 함께 즐겨먹는 아메리카노. 다양한 커피용품도 판매하고있다. 로스팅 머신으로 원두를 직접 볶는다. 다양한 메뉴, 그리고 원두판매까지. 실제로 원두를 사러온 손님이 더 많을때도 있었다. 그리고. 음악이 있는곳. 커피프롬.

Korean Natural Language Processing for Using KoNLPy ( Korean NLP in Python ) Python기반 자연어 처리가 가능한 오픈소스 라이브러리가 있어 소개하고자 한다. NLP란 Natural Language Processing의 약자로 KoNLPy는 한국어 자연어 처리란 의미를 가지고 있다. 이는 형태소 분석뿐 아니라 더 많고 포괄적인 자연어 처리기능을 내포하고 있어 목적과 취향에 맞춰 사용할 수 있다. github : https://github.com/e9t/konlpy 자 이제 설치 및 튜토리얼을 통해 확인해 보도록 한다. step1. 설치 pip installer를 통해 간단히 설치 가능하다.$ pip install JPype1 $ pip inst..

Crossdomain Problem. Web에서 Ajax 처리를 하기 위해 발생하는 문제중 하나가 Crossdomain관련된 문제이다. 서로 다른 domain에 대한 쿠키를 공유해야 하는데, 이 문제는 보안상의 문제도 있지만 쿠키에대한 공유가 되어야 세션처리가 가능하기 때문에 이를 위해 몇가지 설정이 필요하다. 첫번째. xhrFields의 withCredentials 필드추가. xhrFields의 withCredentials 값을 true로 설정한다. $.ajax({ type: 'POST', url: url, dataType: 'json', crossDomain: true, xhrFields: { withCredentials: true }, data: data }).success(function(resu..

Using Flask For fastest Web Applications. python을 이용하여 빠르게 웹 서비스 모형을 개발 가능한 Flask라는 프레임웍이 등장 하였다 하여 간단한 서비스 구현 모델을 만들어 볼까 하여 설치 부터 구동까지 진행해 보았다. step1. venv 설치 venv는 python의 가상 개발환경을 제공하여 개발환경의 독립성을 제공한다. 습관이 되면 편하니 사용해 보도록 한다. $ sudo easy_install virtualenv or $ sudo pip install virtualenv or ubuntu $ sudo apt-get install python-virtualenv step2. Flask 설치$ . venv/bin/activate $ sudo pip install..

Getting started with RabbitMQ. 대용량 메세지 처리를 위한 오픈소스들이 즐비한 시점에 여러 오픈소스를 찾다 RabbitMQ에 대한 Reference가 잘 되어있는 듯하여 소개하고자 한다. 그전에 MessageQueue에 대해 간단히 소개하자면, 요즘과 같은 대용량 메세지 처리 시 쏟아지는 데이터를 처리하는데 한계가 있기 때문에 MessageQueue 시스템을 이용하여, 대량의 메세지를 Queue에 저장 하여 처리하도록 설계된 시스템이다. 대표적인 MessageQueue로 kafka, RabbitMQ, ActiveMQ, ZeroMQ, JMS 등이 있다. RabbitMQ의 특징Robust messaging for applicationsEasy to useRuns on all major..

Upgrading newer version from older version. 현재 개발환경에 Ubuntu 12.10 ( quantal ) version. 즉 LTS 버전이 아니라 지원이 끝나버린 버전을 구제 해 줄 방법이 없나 찾다 예전 버전을 모아둔 repository서버를 발견하였다. 바로 아래 주소이다.old-releases.ubuntu.com 일단 한번에 14.04로 update가 되면 좋겠지만 불행하게도 순서대로 진행해야 한다. 12.10 (quantal) -> 13.10 (saucy) -> 14.04 (Trusty) 즉 아래와 같은 행위를 두번 반복하면 된다. apt release 사이트 주소를 변경 후 update를 진행한다. repository backup$ sudo vi /etc/apt..

Hadoop Cluster And Hive Installation Guide.Server ArchitectureHadoop2로 넘어오면서 MR2 시스템 Yarn이 도입되어 기존의 MR1 시스템의 JobTracker를 개선한 ResourceManager가 도입되었다. ResourceManager는 각각의 NodeManager만 관리하도록 디자인된 모델이며, 기존의 JobTracker에 몰리는 Task들을 NodeManager에 분산하도록ResourceManager를 디자인함으로 병목현상을 개선하였다. [그림 1] Yarn ArchitectureRequired분산환경을 구축하기 위해 tajo, spark등 Hadoop 에코 시스템 연동 시 문제가 발생하지 않도록 stable버전을 설치 할 것을 권장하며, 현..

remove mail queue . 어제부터 메일 전송속도가 너무 안나오길래 네트워크 문제인가 하고 대수롭지 않게 넘어갔는데 여전히 느린 관계로 qmail서버에 문제 생긴게 아닌가 싶어 mail 전송 queue를 확인해 봤더니 맙소사.... $ /var/qmail/bin/qmail-qstat messages in queue: 17530 messages in queue but not yet preprocessed: 18 2만개 가까이나 되는 큐가 쌓여 있는 것이었다. 내용을 봤더니 해킹을 의심해 볼 수 밖에 없는 메일 전송 목록들.$ /var/qmail/bin/qmail-qread 28 Oct 2014 21:59:22 GMT #25130766 1059 remote buxxxx@yahoo.com remote..