DBILITY

hadoop MapReduce 개발 과정 정리 본문

bigdata/hadoop

hadoop MapReduce 개발 과정 정리

DBILITY 2016. 9. 9. 13:31
반응형
  1. 맵리듀스 단계별로 사용할 파라미터를 키와 값의 형태로 설계한다.
  2. 매퍼 클래스(org.apache.hadoop.mapreduce.Mapper)를 상속받아, 사용할 Mapper클래스를 구현한다.
  3. 리듀스 클래스(org.apache.hadoop.mapreduce.Reducer)를 상속받아,사용할 Reducer클래스를 구현한다.
  4. 맵리듀스 잡을 실행할 드라이버 클래스에 잡객체(org.apache.hadoop.mapreduce.Job)를 생성하고 설정한다.
  5. 완성된 맵리듀스 클래스를 하둡에서 실행한다.
    (./bin/hadoop jar 완성된 맵리듀스.jar 메인클래스 아규먼트)

참고서적 : 시작하세요! 하둡프로그래밍 개정2판(위키북스) 정재화 지음

반응형

'bigdata > hadoop' 카테고리의 다른 글

hadoop window10 x64 eclipse에서 mapreduce debug  (0) 2016.10.02
hadoop 1.2.1 eclipse plugin  (0) 2016.09.28
hadoop WordCount 예제  (0) 2016.09.09
hadoop MapReduce Data Flow  (0) 2016.09.07
hadoop hdfs 파일저장 및 읽기 예제  (0) 2016.09.07
Comments