Rocksea - knowledge creator

[bigdata] hadoop + hive를 이용한 데이터 분석 예제Hive를 통해  한달 30,000,000건, 연 360,000,000건에 달하는 데이터를 저장하고 맵리듀싱 하는 SQL 성능 측정을 진행하였다.hive는 meta table을 생성하고 delimiter를 이용하여 파일을 분석하기 때문에 특정 delimiter를 (\t)  두고 로그 파일포맷을 meta table colu..

chukwa란?  open source의 hadoop 기반으로 개발된 대규모 분산 시스템을 모니터링을위한  데이터 로그 수집 시스템입니다. 즉 chukwa를 설치하기 위해선  선수과목으로 hadoop에 대한 기반 지식 및 설치를 필요로 합니다. [ 그림1 ] Chukwa Architecture 이제 chukwa를 설치 해 보도록 하겠습니다. 설치환경 OS : Ubuntu 12.04 ( Li..

[hadoop] 설치 및 clustering 셋팅이번주에는 Cloud Distribute File System으로 각광을 받고있는 Hadoop에 대해 알아보고 설치 및 분산 저장을 해보려고 합니다. Hadoop은 크게 총 두가지의 요소로 나누어져 있습니다. 1. HDFS 2. Map Reduce 입력한 데이터를 지정한 DataNode에 Distribution 및 Replication을 수행합니다. ( HDFS )   [ 그림1 ..