Rocksea - knowledge creator

오늘은 분산, 복제 파일시스템인 glusterfs에 대해서 알아보도록 하겠습니다.일반적으로 HDFS 와 같은 메타데이타를 관리하는 서버를 두는 분산 방식은 2가지 위험성을 가지고 있다고 합니다. Performance Bottleneck Inconsistency Risks 글러스터FS 는 위의 두가지 위험성을 제거한 분산 파일 시스템 방식입니다. 메타데이타를 관리하는 서버가 없으면 어떻게 파일의 위치를 찾을 수 있을것인가? 하는 의문이 있을 수가 있는데요. 이를 해결하기 위해서 데이타를 저장하고 읽어올 수 있는 방식이 아니라 '수학적 계산'을 통해서 파일의 위치를 찾을 수 있는 Elastic Hashing Algorithm 을 사용한다고 합니다. 이에 더해서 Gluster Native FUSE 방식이라고 ..

[hadoop] 설치 및 clustering 셋팅이번주에는 Cloud Distribute File System으로 각광을 받고있는 Hadoop에 대해 알아보고 설치 및 분산 저장을 해보려고 합니다. Hadoop은 크게 총 두가지의 요소로 나누어져 있습니다. 1. HDFS 2. Map Reduce 입력한 데이터를 지정한 DataNode에 Distribution 및 Replication을 수행합니다. ( HDFS ) [ 그림1 ] HDFS Architecture ( http://hadoop.apache.org 참조 ) HDFS로 분산하여 저장하였다면 이제 데이터를 가져오기 위하여 데이터를 조회하고 원하는 데이터를 가져오기 위한 연산을 처리하는 과정을 MapReduce라고 합니다. [ 그림2 ] MapRedu..