일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |
- 보조정렬
- xPlatform
- Express
- Kotlin
- SSL
- hadoop
- Spring
- Eclipse
- Android
- react
- 공정능력
- Python
- mapreduce
- R
- JavaScript
- Java
- window
- table
- SPC
- SQL
- IntelliJ
- tomcat
- NPM
- plugin
- vaadin
- MSSQL
- GIT
- mybatis
- es6
- Sqoop
- Today
- Total
목록mapreduce (7)
DBILITY
항공지연통계 보조정렬+다중출력 적용 실습을 그냥 해 보았습니다. package com.dbility.hadoop.sort.secondary; import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.conf.Configured; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.LocalFileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.fs.perm..
3개의 Partition으로 나눠 output이 3개 생성되므로, FileUtil.copyMerge를 사용해 결과를 합쳐 보았다. 물론,이게 정상적인 방법인지는 공부를 더 해봐야 확인이 가능하겠다. package com.dbility.hadoop.partitioner; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.conf.Configured; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.FileUtil; import org.apache.hadoop.fs.Path; import org.apache.ha..
Combiner와 Partitioner 이해에 도움이 됩니다.https://www.tutorialspoint.com/map_reduce/index.htm
당연하게 하나 이상 입력 경로를 지정할 수 있다. 입력경로가 디렉토리일 경우 하위 파일을 모두 읽어 드리는 것을 확인하였습니다. addInputPath(Job job, Path path) , addInputPaths(Job job, String commaSeparatedPaths), setInputPaths(Job job, String commaSeparatedPaths) , setInputPaths(Job job, Path[] inputPaths)꼭 Reducer를 써야 하는 것은 아니다. org.apache.hadoop.mapreduce.Job.class setNumReduceTasks(int tasks)Reducer를 이용하면 SQL의 group by 효과를 볼 수 있다. Map = Transfor..
maven dependency 설정 pom.xml 4.0.0 com.dbility.hadoop example02 0.0.1 1.7 1.2.1 1.4.3 hadoop hadoop big-master home/hadoop/ org.apache.hadoop hadoop-core ${hadoop.version} org.slf4j slf4j-api ${slf4j.version} ${project.artifactId} org.apache.maven.plugins maven-compiler-plugin 3.5.1 ${java.version} ${java.version} org.apache.maven.plugins maven-antrun-plugin 1.8 org.apache.ant ant-jsch 1.9.7 com...