반응형

목록hadoop (31)

DBILITY

hadoop MultipleOutputs을 이용한 ASA 통계 작성

https://hadoop.apache.org/docs/r1.2.1/api/org/apache/hadoop/mapreduce/lib/output/MultipleOutputs.html MultipleOutputs (Hadoop 1.2.1 API) static void addNamedOutput(Job job, String namedOutput, Class outputFormatClass, Class keyClass, Class valueClass) Adds a named output for the job. hadoop.apache.org pom.xml 4.0.0 com.dbility.hadoop asa-flight-statistics 1.0.0 hadoop hadoop big-master home/hado..
bigdata/hadoop 2016. 11. 12. 18:32
output Key,Value Class 미지정시 오류

java.io.IOException: Type mismatch in key from map: expected org.apache.hadoop.io.LongWritable, recieved org.apache.hadoop.io.Text위와 같은 오류는 job에 output key와 value의 class 를 미지정시 발생하는 오류로TextOutputFormat사용시 LongWritable Type Key와 Text Type Value가 default입니다.
bigdata/hadoop 2016. 11. 11. 16:35
hadoop WordCount GenericOptionParser 적용 예제

pom.xml 4.0.0 com.dbility.hadoop wordcount 1.0.0 org.apache.hadoop hadoop-core 1.2.1 provided org.slf4j slf4j-api 1.7.20 provided org.slf4j jcl-over-slf4j 1.7.20 provided ch.qos.logback logback-classic 1.1.7 provided ch.qos.logback logback-access 1.1.7 provided logback.xml %d{HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n WindowsLocalFileSystem.java package com.dbility.hadoop.utils; impor..
bigdata/hadoop 2016. 11. 6. 14:10
hadoop configuration print

public int run(String[] args) throws Exception { Configuration conf = getConf(); for (Map.Entry entry : conf) { log.info("{} : {}",entry.getKey(),entry.getValue()); } return 0; }
bigdata/hadoop 2016. 10. 8. 17:56
M/R 동작특성

당연하게 하나 이상 입력 경로를 지정할 수 있다. 입력경로가 디렉토리일 경우 하위 파일을 모두 읽어 드리는 것을 확인하였습니다. addInputPath(Job job, Path path) , addInputPaths(Job job, String commaSeparatedPaths), setInputPaths(Job job, String commaSeparatedPaths) , setInputPaths(Job job, Path[] inputPaths)꼭 Reducer를 써야 하는 것은 아니다. org.apache.hadoop.mapreduce.Job.class setNumReduceTasks(int tasks)Reducer를 이용하면 SQL의 group by 효과를 볼 수 있다. Map = Transfor..
bigdata/hadoop 2016. 10. 8. 16:16
Prev 1 2 3 4 5 6 7 Next
반응형