DBILITY

org.apache.hadoop.io.Text가 import 되어야 하나, eclipse content assistant기능을 사용하다 보면 간혹 이런 일도 발생하더라. 02:28:22.728 [Thread-2] INFO org.apache.hadoop.mapred.LocalJobRunner - Map task executor complete. 02:28:22.731 [Thread-2] WARN org.apache.hadoop.mapred.LocalJobRunner - job_local836492892_0001 java.lang.Exception: java.lang.ClassCastException: class com.sun.jersey.core.impl.provider.entity.XMLJAXBElem..

WindowsLocalFileSystem.java는 https://bigdatanerd.wordpress.com/2013/11/14/에서 참조하였습니다. 세상엔 훌륭하고, 뛰어난 재능을 가진 분들이 정말 많은 것 같습니다. 전문가분들이야 당연히 더 좋은 방법을 아시겠지만, 입문자 입장에선 거의 신의 한 수 같은 느낌. window환경에서 개발 시 MapReduce를 eclipse에서 바로 실행해 볼 수 있습니다. pom에 추가하세요. hadoop-core 1.2.1 slf4j-api, jcl-over-slf4j 1.7.20 logback-classic 1.1.7 logback.xml이 없을 경우 debug level로 동작합니다.(설정 참고). WindowsLocalFileSystem.java packa..

eclipse -> plugins 디렉토리에 다운받은 파일을 복사 후, eclipse를 재시작 해보시면 Map/Reduce Perspective가 존재합니다. 해당 파일은 stackoverflow.com에서 검색하던 중 해외의 어떤 분이 링크를 통해 제공하시던 것을 다운받은 것입니다.

maven dependency 설정 pom.xml 4.0.0 com.dbility.hadoop example02 0.0.1 1.7 1.2.1 1.4.3 hadoop hadoop big-master home/hadoop/ org.apache.hadoop hadoop-core ${hadoop.version} org.slf4j slf4j-api ${slf4j.version} ${project.artifactId} org.apache.maven.plugins maven-compiler-plugin 3.5.1 ${java.version} ${java.version} org.apache.maven.plugins maven-antrun-plugin 1.8 org.apache.ant ant-jsch 1.9.7 com...

맵리듀스 단계별로 사용할 파라미터를 키와 값의 형태로 설계한다. 매퍼 클래스(org.apache.hadoop.mapreduce.Mapper)를 상속받아, 사용할 Mapper클래스를 구현한다. 리듀스 클래스(org.apache.hadoop.mapreduce.Reducer)를 상속받아,사용할 Reducer클래스를 구현한다. 맵리듀스 잡을 실행할 드라이버 클래스에 잡객체(org.apache.hadoop.mapreduce.Job)를 생성하고 설정한다. 완성된 맵리듀스 클래스를 하둡에서 실행한다. (./bin/hadoop jar 완성된 맵리듀스.jar 메인클래스 아규먼트) 참고서적 : 시작하세요! 하둡프로그래밍 개정2판(위키북스) 정재화 지음