Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- R
- NPM
- vaadin
- es6
- SSL
- JavaScript
- xPlatform
- Java
- Android
- window
- MSSQL
- hadoop
- table
- Spring
- mapreduce
- Express
- tomcat
- Python
- plugin
- 보조정렬
- IntelliJ
- react
- mybatis
- SPC
- SQL
- 공정능력
- Sqoop
- Eclipse
- GIT
- Kotlin
Archives
- Today
- Total
DBILITY
hadoop MapReduce 개발 과정 정리 본문
반응형
- 맵리듀스 단계별로 사용할 파라미터를 키와 값의 형태로 설계한다.
- 매퍼 클래스(org.apache.hadoop.mapreduce.Mapper)를 상속받아, 사용할 Mapper클래스를 구현한다.
- 리듀스 클래스(org.apache.hadoop.mapreduce.Reducer)를 상속받아,사용할 Reducer클래스를 구현한다.
- 맵리듀스 잡을 실행할 드라이버 클래스에 잡객체(org.apache.hadoop.mapreduce.Job)를 생성하고 설정한다.
- 완성된 맵리듀스 클래스를 하둡에서 실행한다.
(./bin/hadoop jar 완성된 맵리듀스.jar 메인클래스 아규먼트)
참고서적 : 시작하세요! 하둡프로그래밍 개정2판(위키북스) 정재화 지음
반응형
'bigdata > hadoop' 카테고리의 다른 글
hadoop window10 x64 eclipse에서 mapreduce debug (0) | 2016.10.02 |
---|---|
hadoop 1.2.1 eclipse plugin (0) | 2016.09.28 |
hadoop WordCount 예제 (0) | 2016.09.09 |
hadoop MapReduce Data Flow (0) | 2016.09.07 |
hadoop hdfs 파일저장 및 읽기 예제 (0) | 2016.09.07 |
Comments