DBILITY

클라우데라에서 개발, 아파치 오픈소스 프로젝트로 공개하였으며, JUnit과 맵리듀스 프레임워크 간의 간편한 통합을 목표로 합니다. MRUnit API API Description org.apache.hadoop.mrunit.mapreduce.MapDriver Mapper의 출력을 검증하기 위한 API org.apache.hadoop.mrunit.mapreduce.ReduceDriver Reducer의 출력을 검증하기 위한 API org.apache.hadoop.mrunit.mapreduce.MapReduceDriver MapReduce Job의 출력을 검증하기 위한 API org.apache.hadoop.mrunit.MapDriver Mapper의 출력을 검증하기 위한 API(mapreduce하위 제외)..

하나의 맵리듀스 잡에서 여러 개의 Mapper와 Reducer를 실행할 수 있게 ChainMapper와 ChainReducer를 제공한다. 1.x.x 버전에서는 org.apache.hadoop.mapred하위의 MapReduceBase를 상속받고 Mapper와 Reducer를 구현해야 한다. Mapper -> Mapper -> Reducer의 순서로 응용해 보았다. TokenizerMapper package com.dbility.hadoop.chain; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritabl..

Mapper Class는 org.apache.hadoop.mapreduce.Mapper를 상속하여 구현한다. map을 구현한다. 사용자정의 옵션을 입력받을 경우(-D property=value) setup을 구현하며, context에서 해당 설정값을 추출하여 사용한다. public class AsaDelayMapper extends Mapper { private String workType; private Text outKey = new Text(); private static final IntWritable outValue = new IntWritable(1); @Override protected void setup(Context context) throws IOException, Interrupted..

https://hadoop.apache.org/docs/r1.2.1/api/org/apache/hadoop/mapreduce/lib/output/MultipleOutputs.html MultipleOutputs (Hadoop 1.2.1 API) static void addNamedOutput(Job job, String namedOutput, Class outputFormatClass, Class keyClass, Class valueClass) Adds a named output for the job. hadoop.apache.org pom.xml 4.0.0 com.dbility.hadoop asa-flight-statistics 1.0.0 hadoop hadoop big-master home/hado..

hadoop command line에 main class를 지정하지 않고 실행할 수 있습니다. 물론, hadoop뿐만 아니라, executable jar에도 적용됩니다. org.apache.maven.plugins maven-jar-plugin 2.3.2 com.dbility.hadoop.multioutput.AsaDelayDriver default-jar package jar