일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |
- plugin
- Express
- Java
- mybatis
- react
- R
- vaadin
- SPC
- mapreduce
- Python
- 보조정렬
- window
- Kotlin
- tomcat
- MSSQL
- SQL
- Spring
- Sqoop
- IntelliJ
- es6
- 공정능력
- JavaScript
- Android
- NPM
- hadoop
- SSL
- Eclipse
- xPlatform
- table
- GIT
- Today
- Total
목록전체 글 (655)
DBILITY
Mapper Class는 org.apache.hadoop.mapreduce.Mapper를 상속하여 구현한다. map을 구현한다. 사용자정의 옵션을 입력받을 경우(-D property=value) setup을 구현하며, context에서 해당 설정값을 추출하여 사용한다. public class AsaDelayMapper extends Mapper { private String workType; private Text outKey = new Text(); private static final IntWritable outValue = new IntWritable(1); @Override protected void setup(Context context) throws IOException, Interrupted..
https://hadoop.apache.org/docs/r1.2.1/api/org/apache/hadoop/mapreduce/lib/output/MultipleOutputs.html MultipleOutputs (Hadoop 1.2.1 API) static void addNamedOutput(Job job, String namedOutput, Class outputFormatClass, Class keyClass, Class valueClass) Adds a named output for the job. hadoop.apache.org pom.xml 4.0.0 com.dbility.hadoop asa-flight-statistics 1.0.0 hadoop hadoop big-master home/hado..
hadoop command line에 main class를 지정하지 않고 실행할 수 있습니다. 물론, hadoop뿐만 아니라, executable jar에도 적용됩니다. org.apache.maven.plugins maven-jar-plugin 2.3.2 com.dbility.hadoop.multioutput.AsaDelayDriver default-jar package jar
java.io.IOException: Type mismatch in key from map: expected org.apache.hadoop.io.LongWritable, recieved org.apache.hadoop.io.Text위와 같은 오류는 job에 output key와 value의 class 를 미지정시 발생하는 오류로TextOutputFormat사용시 LongWritable Type Key와 Text Type Value가 default입니다.
pom.xml 4.0.0 com.dbility.hadoop wordcount 1.0.0 org.apache.hadoop hadoop-core 1.2.1 provided org.slf4j slf4j-api 1.7.20 provided org.slf4j jcl-over-slf4j 1.7.20 provided ch.qos.logback logback-classic 1.1.7 provided ch.qos.logback logback-access 1.1.7 provided logback.xml %d{HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n WindowsLocalFileSystem.java package com.dbility.hadoop.utils; impor..