반응형

목록2016/12/06 (1)

DBILITY

hadoop Secondary Sort ( 보조 정렬 )

HDFS └ INPUTFORMAT └ SPLITS └ RECORDREADER └ MAP └ COMBINER └ PARTITIONER └ SHUFFLE & SORT └ REDUCE └ RECORDWRITER └ OUTPUTFORMAT 맵리듀스(MapReduce)는 기본적으로 입력 데이터의 Key를 기준으로 정렬한다. 네트워크를 통한 Shuffle 과정을 통해 Mapper의 출력 데이터를 key로 정렬하면서 동일 key를 갖는 value들끼리 묶는다. 이때 정렬 알고리즘을 적용할 수 있습니다. 보조정렬 ( Secondary Sort ) 키의 값들을 그룹핑하고, 그룹핑된 레코드에 순서를 부여하는 방식 ① WritableComparable Interface를 구현한 복합 키(Composite Key)를 정의, ..
bigdata/hadoop 2016. 12. 6. 17:37
Prev 1 Next
반응형