DBILITY

보조 정렬을 테스트할 때 느낀 거지만, 데이터 분포가 고른 상태가 아니라면 하나의 리듀스 테스트에 집중이 될 텐데, 그럴 경우 개발자가 알아서 분할 가능하도록 파티셔닝을 해야 하는 등 RDBMS와 마찬가지로 데이터의 저장부터 관리, 개발자의 역량에 따라 성능이 좌우되지 않을지 생각했는데 친절하게 준비가 되어 있었다. 머리가 나쁜지 습득하는데, 시간이 오래 걸린다. 어쩌면 원래 공부하는 스타일의 차이일까.. 소설은 한번 잡고 이틀은 볼 수 있는데ㅎㅎ 맵리듀스는 입력 데이터의 키를 기준으로 정렬하기 때문에 하나의 파티션으로 손쉽게 정렬된다. 기본 알고리즘이 퀵 소트였던 것 같다. 데이터가 방대할 때 분산처리가 이루어져야 하는데 한 개의 리듀스 태스크만 사용할 경우 부하가 집중된다. 전체 정렬 순서 1. 입력..

부분정렬(Partial Sort)은 매퍼출력을 MapFile로 변경해 데이터를 검색하는 방법이다. 맵태스크 실행시 파티셔너는 매퍼의 출력데이터가 전달될 리듀서를 결정하고,파티셔닝된 데이터는 키에 따라 정렬된다. 특정키에 대한 데이터 검색시 키가 저장된 맴파일에 접근해 조회한다. 부분정렬 3단계는 아래와 같다. 1.입력데이터를 시퀀스파일로 생성 2.시퀀스파일을 맵파일로 변경 3.맵파일에서 데이터 검색 ※ org.apache.hadoop.mapred 패키지를 사용해 작성해야 함. 다음은 윈도우 환경 Eclipse상에서 테스트 되었습니다. package com.dbility.hadoop.execise; import java.io.IOException; import org.apache.hadoop.conf.Co..

항공지연통계 보조정렬+다중출력 적용 실습을 그냥 해 보았습니다. package com.dbility.hadoop.sort.secondary; import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.conf.Configured; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.LocalFileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.fs.perm..

HDFS └ INPUTFORMAT └ SPLITS └ RECORDREADER └ MAP └ COMBINER └ PARTITIONER └ SHUFFLE & SORT └ REDUCE └ RECORDWRITER └ OUTPUTFORMAT 맵리듀스(MapReduce)는 기본적으로 입력 데이터의 Key를 기준으로 정렬한다. 네트워크를 통한 Shuffle 과정을 통해 Mapper의 출력 데이터를 key로 정렬하면서 동일 key를 갖는 value들끼리 묶는다. 이때 정렬 알고리즘을 적용할 수 있습니다. 보조정렬 ( Secondary Sort ) 키의 값들을 그룹핑하고, 그룹핑된 레코드에 순서를 부여하는 방식 ① WritableComparable Interface를 구현한 복합 키(Composite Key)를 정의, ..