Rocksea - knowledge creator

[bigdata] hadoop + hive를 이용한 데이터 분석 예제Hive를 통해 한달 30,000,000건, 연 360,000,000건에 달하는 데이터를 저장하고 맵리듀싱 하는 SQL 성능 측정을 진행하였다.hive는 meta table을 생성하고 delimiter를 이용하여 파일을 분석하기 때문에 특정 delimiter를 (\t) 두고 로그 파일포맷을 meta table column과 매칭하여 생성 한 뒤 테스트를 진행하였다.테스트 서버 구성ubuntu server 총 5대server 0 (master) : NameNode, SecondaryNameNode, ResourceManager, QuorumPeerMain server 1 : DataNode, NodeManager, QuorumPeerMai..

Hadoop 2.5.1 Pseudo-distributed mode Installration Guide.hadoop cluster를 구성하기 위해 기본이 되는 가상 분산 시스템 설치에 대해 알아보고 map reduce 테스트를 진행 하였다. 1. Downloadhttp://apache.mirror.cdnetworks.com/hadoop/common/hadoop-2.5.1/2. Pseudo-Distributed Mode 설치분산환경을 만들기 위한 가상의 환경을 설정 할 수 있다.$HADOOP_HOME/etc/hadoop/core-site.xml: fs.defaultFS hdfs://localhost:9000 $HADOOP_HOME/etc/hadoop/hdfs-site.xml: dfs.replication 1..

chukwa란? open source의 hadoop 기반으로 개발된 대규모 분산 시스템을 모니터링을위한 데이터 로그 수집 시스템입니다. 즉 chukwa를 설치하기 위해선 선수과목으로 hadoop에 대한 기반 지식 및 설치를 필요로 합니다. [ 그림1 ] Chukwa Architecture 이제 chukwa를 설치 해 보도록 하겠습니다. 설치환경 OS : Ubuntu 12.04 ( Linux Mint 12 Lisa ) Hadoop : 1.0.3 Chukwa : 0.4.0 Download URL URL : http://ftp.daum.net/apache/hadoop/chukwa/chukwa-0.4.0/chukwa-0.4.0.tar.gz step 1. 소스 설치 소스를 다운로드 받은 뒤 압축을 푼다. $ wg..

NoSQL 의 한종류인 HBASE 도입 관련하여 내부적으로 입력테스트를 진행해 보았습니다. 테스트 시나리오 1. 현재 운영중인 DB Schema와 동일한 필드 입력( 필드명, 사이즈 )2. 1000만건의 데이터 입력 3. 데이터 입력시간 체크 환경ubuntu 12.04 ( giga bit network switch ) hadoop-1.0.1hbase-0.92.1java 1.6 Hbase 환경총 세대의 서버 분산환경 nobody1 - RegionServer , HMaster, HQuorumPeer nobody2 - RegionServer, HQuorumPeer nobody3 - RegionServer library requiredhadoop-core-1.0.0.jarhbase-0.92.1.jarzookee..

[hadoop] 설치 및 clustering 셋팅이번주에는 Cloud Distribute File System으로 각광을 받고있는 Hadoop에 대해 알아보고 설치 및 분산 저장을 해보려고 합니다. Hadoop은 크게 총 두가지의 요소로 나누어져 있습니다. 1. HDFS 2. Map Reduce 입력한 데이터를 지정한 DataNode에 Distribution 및 Replication을 수행합니다. ( HDFS ) [ 그림1 ] HDFS Architecture ( http://hadoop.apache.org 참조 ) HDFS로 분산하여 저장하였다면 이제 데이터를 가져오기 위하여 데이터를 조회하고 원하는 데이터를 가져오기 위한 연산을 처리하는 과정을 MapReduce라고 합니다. [ 그림2 ] MapRedu..