DBILITY

org.apache.hadoop.io.Text가 import 되어야 하나, eclipse content assistant기능을 사용하다 보면 간혹 이런 일도 발생하더라. 02:28:22.728 [Thread-2] INFO org.apache.hadoop.mapred.LocalJobRunner - Map task executor complete. 02:28:22.731 [Thread-2] WARN org.apache.hadoop.mapred.LocalJobRunner - job_local836492892_0001 java.lang.Exception: java.lang.ClassCastException: class com.sun.jersey.core.impl.provider.entity.XMLJAXBElem..

eclipse -> plugins 디렉토리에 다운받은 파일을 복사 후, eclipse를 재시작 해보시면 Map/Reduce Perspective가 존재합니다. 해당 파일은 stackoverflow.com에서 검색하던 중 해외의 어떤 분이 링크를 통해 제공하시던 것을 다운받은 것입니다.

maven dependency 설정 pom.xml 4.0.0 com.dbility.hadoop example02 0.0.1 1.7 1.2.1 1.4.3 hadoop hadoop big-master home/hadoop/ org.apache.hadoop hadoop-core ${hadoop.version} org.slf4j slf4j-api ${slf4j.version} ${project.artifactId} org.apache.maven.plugins maven-compiler-plugin 3.5.1 ${java.version} ${java.version} org.apache.maven.plugins maven-antrun-plugin 1.8 org.apache.ant ant-jsch 1.9.7 com...

맵리듀스 단계별로 사용할 파라미터를 키와 값의 형태로 설계한다. 매퍼 클래스(org.apache.hadoop.mapreduce.Mapper)를 상속받아, 사용할 Mapper클래스를 구현한다. 리듀스 클래스(org.apache.hadoop.mapreduce.Reducer)를 상속받아,사용할 Reducer클래스를 구현한다. 맵리듀스 잡을 실행할 드라이버 클래스에 잡객체(org.apache.hadoop.mapreduce.Job)를 생성하고 설정한다. 완성된 맵리듀스 클래스를 하둡에서 실행한다. (./bin/hadoop jar 완성된 맵리듀스.jar 메인클래스 아규먼트) 참고서적 : 시작하세요! 하둡프로그래밍 개정2판(위키북스) 정재화 지음

이해하는데 많은 도움이 된다. http://www.admin-magazine.com/HPC/Articles/MapReduce-and-Hadoop Giant Data: MapReduce and Hadoop » ADMIN Magazine Enterprises like Google and Facebook use the map–reduce approach to process petabyte-range volumes of data. For some analyses, it is an attractive... www.admin-magazine.com