Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | ||||||
| 2 | 3 | 4 | 5 | 6 | 7 | 8 |
| 9 | 10 | 11 | 12 | 13 | 14 | 15 |
| 16 | 17 | 18 | 19 | 20 | 21 | 22 |
| 23 | 24 | 25 | 26 | 27 | 28 | 29 |
| 30 | 31 |
Tags
- MSSQL
- react
- SQL
- hadoop
- xPlatform
- SSL
- Spring
- Java
- SPC
- plugin
- window
- Sqoop
- tomcat
- 공정능력
- mapreduce
- R
- Android
- es6
- Eclipse
- mybatis
- table
- Express
- 보조정렬
- IntelliJ
- NPM
- Python
- Kotlin
- GIT
- JavaScript
- vaadin
Archives
- Today
- Total
반응형
목록2016/10/08 (2)
DBILITY
hadoop configuration print
public int run(String[] args) throws Exception { Configuration conf = getConf(); for (Map.Entry entry : conf) { log.info("{} : {}",entry.getKey(),entry.getValue()); } return 0; }
bigdata/hadoop
2016. 10. 8. 17:56
M/R 동작특성
당연하게 하나 이상 입력 경로를 지정할 수 있다. 입력경로가 디렉토리일 경우 하위 파일을 모두 읽어 드리는 것을 확인하였습니다. addInputPath(Job job, Path path) , addInputPaths(Job job, String commaSeparatedPaths), setInputPaths(Job job, String commaSeparatedPaths) , setInputPaths(Job job, Path[] inputPaths)꼭 Reducer를 써야 하는 것은 아니다. org.apache.hadoop.mapreduce.Job.class setNumReduceTasks(int tasks)Reducer를 이용하면 SQL의 group by 효과를 볼 수 있다. Map = Transfor..
bigdata/hadoop
2016. 10. 8. 16:16
반응형