Rocksea - knowledge creator

Upgrading newer version from older version. 현재 개발환경에 Ubuntu 12.10 ( quantal ) version. 즉 LTS 버전이 아니라 지원이 끝나버린 버전을 구제 해 줄 방법이 없나 찾다 예전 버전을 모아둔 repository서버를 발견하였다. 바로 아래 주소이다.old-releases.ubuntu.com 일단 한번에 14.04로 update가 되면 좋겠지만 불행하게도 순서대로 진행해야 한다. 12.10 (quantal) -> 13.10 (saucy) -> 14.04 (Trusty) 즉 아래와 같은 행위를 두번 반복하면 된다. apt release 사이트 주소를 변경 후 update를 진행한다. repository backup$ sudo vi /etc/apt..

Hadoop Cluster And Hive Installation Guide.Server ArchitectureHadoop2로 넘어오면서 MR2 시스템 Yarn이 도입되어 기존의 MR1 시스템의 JobTracker를 개선한 ResourceManager가 도입되었다. ResourceManager는 각각의 NodeManager만 관리하도록 디자인된 모델이며, 기존의 JobTracker에 몰리는 Task들을 NodeManager에 분산하도록ResourceManager를 디자인함으로 병목현상을 개선하였다. [그림 1] Yarn ArchitectureRequired분산환경을 구축하기 위해 tajo, spark등 Hadoop 에코 시스템 연동 시 문제가 발생하지 않도록 stable버전을 설치 할 것을 권장하며, 현..

remove mail queue . 어제부터 메일 전송속도가 너무 안나오길래 네트워크 문제인가 하고 대수롭지 않게 넘어갔는데 여전히 느린 관계로 qmail서버에 문제 생긴게 아닌가 싶어 mail 전송 queue를 확인해 봤더니 맙소사.... $ /var/qmail/bin/qmail-qstat messages in queue: 17530 messages in queue but not yet preprocessed: 18 2만개 가까이나 되는 큐가 쌓여 있는 것이었다. 내용을 봤더니 해킹을 의심해 볼 수 밖에 없는 메일 전송 목록들.$ /var/qmail/bin/qmail-qread 28 Oct 2014 21:59:22 GMT #25130766 1059 remote buxxxx@yahoo.com remote..

[bigdata] hadoop + hive를 이용한 데이터 분석 예제Hive를 통해 한달 30,000,000건, 연 360,000,000건에 달하는 데이터를 저장하고 맵리듀싱 하는 SQL 성능 측정을 진행하였다.hive는 meta table을 생성하고 delimiter를 이용하여 파일을 분석하기 때문에 특정 delimiter를 (\t) 두고 로그 파일포맷을 meta table column과 매칭하여 생성 한 뒤 테스트를 진행하였다.테스트 서버 구성ubuntu server 총 5대server 0 (master) : NameNode, SecondaryNameNode, ResourceManager, QuorumPeerMain server 1 : DataNode, NodeManager, QuorumPeerMai..

Hadoop 2.5.1 Pseudo-distributed mode Installration Guide.hadoop cluster를 구성하기 위해 기본이 되는 가상 분산 시스템 설치에 대해 알아보고 map reduce 테스트를 진행 하였다. 1. Downloadhttp://apache.mirror.cdnetworks.com/hadoop/common/hadoop-2.5.1/2. Pseudo-Distributed Mode 설치분산환경을 만들기 위한 가상의 환경을 설정 할 수 있다.$HADOOP_HOME/etc/hadoop/core-site.xml: fs.defaultFS hdfs://localhost:9000 $HADOOP_HOME/etc/hadoop/hdfs-site.xml: dfs.replication 1..

quick sorting. quick sorting은 평균시간복잡도의 시간복잡도를 가진 정렬 알고리즘으로 버블정렬과 같이 시간복잡도 의 비효율적인 성능시간을 개선하기 위해 사용한다. 기본적으로 이전에 포스팅 했던 binary search와 같이 분할정복법을 이용하여 정렬한다. 큌정렬 방식은 기본적으로 값의 기준이 되는 pivot을 정하여 pivot을 기준으로 큰값은 오른쪽, 작은값은 왼쪽으로 이동시키며 좌,우를 분할하여 정렬한다. 정렬이 끝나면 pivot의 기준을 바꾸어 다시 좌우로 정렬하는 식의 동작을 반복하여 정렬한다. cpp code #include #define ARRAY_SIZE 10 int q_sort(int *list , int left, int right); int main() { int ..

개발 환경 OS : CentOS release 6.5 JDK : OpenJDK Runtime Environment (rhel-2.4.7.1.el6_5-x86_64 u55-b13) Tibero : Tibero_5_SP1 Step1. 라이센스 신청 및 다운로드 일단 tibero 공식사이트에서 데모 license신청 및 다운로드를 진행 해야 합니다. http://technet.tmaxsoft.com/ko/front/main/main.do 신청 후 license.xml 파일 및 파일을 다운받습니다.[tibero@juno ~]$ ./Tibero_5_SP1_S1427_Linux_x86_64.bin Please wait a moment... ==========================================..

binary search Algorithm. (이진검색) 정렬된 리스트를 검색하여 값을 찾는 알고리즘 이며, 반복하는 횟수가 탐색시간이 된다. 예를들어 라 가정할때 횟수 만큼 조회하게 되며 조회 시 마다 검색할 리스트 길이가 로 줄게된다. 따라서 시간복잡도는 이 된다. 일반적으로 DB의 index검색에 많이 쓰이지만, DB에 insert, update등의 입력, 수정이 빈번하게 일어날 경우 index는 좋지않다. 이유는 위에서 설명했듯이 검색하는 키값이 정렬되어야 하기 때문에 입력,수정이 발생할 경우 매번 재정렬이 필요하다. 결론적으로 조회 위주의 테이블 컬럼에 적절히 사용하면 좋다. c++을 이용하여 예제코드를 살펴본다. 예제 코드는 아래와 같다. #include #define ARRAY_SIZE 10..

Ubuntu 12.10 Kernel Upgrade.Ubuntu 사용하던 중 커널 업데이트가 필요한 시점이 온 것 같아 포스팅 하나 남겨 봅니다. Step 1. 현재 커널 버전 확인.방법은 두가지가 있습니다.$ uname -a또는 $ apt-cache search linux-headers-$(uname -r) 제 커널 버전은 현재 3.5라는 것을 확인 되었습니다.linux-headers-3.5.0-27-generic - Linux kernel headers for version 3.5.0 on 64 bit x86 SMP Step 2. 커널 업그레이드2.1 LTS 버전 커널 업그레이드어려울것 전혀 없습니다. 일단 LTS 버전이면 아래의 명령으로 가능 합니다.$ sudo apt-get install linux..

[ubuntu] system benchmarking tool.ubuntu 에서 cpu사용량 및 memory 사용량 변화에 대해 모니터링 하는 방법에 대해 효과적으로 할 수 있는 툴이 있나 찾던중sar (system activity reporter ) 라는 도구를 찾아 사용법에 대해 리뷰를 하고자 합니다.일단 모니터링에 앞서 시스템의 어떤 영역에 대한 모니터링을 할 것인지 알아야 합니다.따라서 Linux 운영체제의 i/o stack에 대해 먼저 이해 하는것이 좋습니다. [그림 1] Linux i/o stack - 출처 :http://major.io/ [그림 2] Linux System Layout and Analysis Tools - 출처 :http://major.io/ step1. sar 설치rockse..