Rocksea - knowledge creator

Hadoop Cluster And Hive Installation Guide.Server ArchitectureHadoop2로 넘어오면서 MR2 시스템 Yarn이 도입되어 기존의 MR1 시스템의 JobTracker를 개선한 ResourceManager가 도입되었다. ResourceManager는 각각의 NodeManager만 관리하도록 디자인된 모델이며, 기존의 JobTracker에 몰리는 Task들을 NodeManager에 분산하도록ResourceManager를 디자인함으로 병목현상을 개선하였다. [그림 1] Yarn ArchitectureRequired분산환경을 구축하기 위해 tajo, spark등 Hadoop 에코 시스템 연동 시 문제가 발생하지 않도록 stable버전을 설치 할 것을 권장하며, 현..

Hadoop 2.5.1 Pseudo-distributed mode Installration Guide.hadoop cluster를 구성하기 위해 기본이 되는 가상 분산 시스템 설치에 대해 알아보고 map reduce 테스트를 진행 하였다. 1. Downloadhttp://apache.mirror.cdnetworks.com/hadoop/common/hadoop-2.5.1/2. Pseudo-Distributed Mode 설치분산환경을 만들기 위한 가상의 환경을 설정 할 수 있다.$HADOOP_HOME/etc/hadoop/core-site.xml: fs.defaultFS hdfs://localhost:9000 $HADOOP_HOME/etc/hadoop/hdfs-site.xml: dfs.replication 1..