DBILITY

Combiner와 Partitioner 이해에 도움이 됩니다.https://www.tutorialspoint.com/map_reduce/index.htm

DataType 네트워크 통신을 위해 최적화된 Writable과 Comparable을 다중 상속한 WritableComparable Interface를 제공. compareTo 메서드는 Key끼리 비교해(Compares two strings lexicographically) 정렬한다. (복합 키 정의 시 Mapper와 Reducer에서는 toString메서드를 호출하여 값을 출력하므로 반드시 구현하여야 함) write 메서드는 데이터를 직렬화(byte stream) 하고, readFields는 직렬화된 데이터(byte stream)를 해제하고 읽는다. 데이터 포맷 클래스는 두 메서드를 구현하는 부분에서 데이터를 읽고 쓰는 기능을 처리한다. 자주 사용하는 데이터타입에 대한 Wrapper클래스를 제공한다. ..

클라우데라에서 개발, 아파치 오픈소스 프로젝트로 공개하였으며, JUnit과 맵리듀스 프레임워크 간의 간편한 통합을 목표로 합니다. MRUnit API API Description org.apache.hadoop.mrunit.mapreduce.MapDriver Mapper의 출력을 검증하기 위한 API org.apache.hadoop.mrunit.mapreduce.ReduceDriver Reducer의 출력을 검증하기 위한 API org.apache.hadoop.mrunit.mapreduce.MapReduceDriver MapReduce Job의 출력을 검증하기 위한 API org.apache.hadoop.mrunit.MapDriver Mapper의 출력을 검증하기 위한 API(mapreduce하위 제외)..

하나의 맵리듀스 잡에서 여러 개의 Mapper와 Reducer를 실행할 수 있게 ChainMapper와 ChainReducer를 제공한다. 1.x.x 버전에서는 org.apache.hadoop.mapred하위의 MapReduceBase를 상속받고 Mapper와 Reducer를 구현해야 한다. Mapper -> Mapper -> Reducer의 순서로 응용해 보았다. TokenizerMapper package com.dbility.hadoop.chain; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritabl..

Mapper Class는 org.apache.hadoop.mapreduce.Mapper를 상속하여 구현한다. map을 구현한다. 사용자정의 옵션을 입력받을 경우(-D property=value) setup을 구현하며, context에서 해당 설정값을 추출하여 사용한다. public class AsaDelayMapper extends Mapper { private String workType; private Text outKey = new Text(); private static final IntWritable outValue = new IntWritable(1); @Override protected void setup(Context context) throws IOException, Interrupted..