DBILITY

hadoop 2.6.4 binary 다운로드 http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.6.4/hadoop-2.6.4.tar.gz winutils 다운로드 https://github.com/steveloughran/winutils eclipse hadoop 2.x plugin 다운로드 https://github.com/winghc/hadoop2x-eclipse-plugin eclipse > dorpins에 hadoop-eclipse-plugin-2.6.0.jar 복사 HADOOP_HOME 환경변수 설정 ( E:/hadoop-2.6.4 ) hadoop-2.6.4.tar.gz 압축해제 후 %HADOOP_HOME% 에 복사 winutils-mas..

https://github.com/steveloughran/winutils GitHub - steveloughran/winutils: Windows binaries for Hadoop versions (built from the git commit ID used for the ASF relase) Windows binaries for Hadoop versions (built from the git commit ID used for the ASF relase) - GitHub - steveloughran/winutils: Windows binaries for Hadoop versions (built from the git commit ID use... github.com 어떻게 했었는지 기억이 안남..

https://github.com/winghc/hadoop2x-eclipse-plugin/blob/master/release/hadoop-eclipse-plugin-2.6.0.jar 만약을 대비해 첨부해 두려 했으나, 용량 제한이 있구나.. 그리하여 분할압축~ 집에서 같은 환경에서 안되던게, 왜 여기선 되는가.. 심지어 ant build까지 시도해서 2.6.4 target을 생성했어도 안되더니... 이거 원 어제 만든 걸 백업해 둘걸~ㅠㅠ 집에서 사용하는 Eclipse환경의 문제가 있다. 해결하기보단 그냥 mars를 다운로드하고 테스트 해보니 된다.

ASA항공운항 기록에서 년/월별 지연도착 통계를 정렬 후 SequenceFile로 저장하고, 읽는 걸 해봄. package com.dbility.hadoop.execise; import java.io.BufferedInputStream; import java.io.BufferedReader; import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; import java.io.InputStream; import java.io.StringWriter; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.conf.Configured; import or..

리눅스 완전 분산 모드에서 테스트되었으며, 정상적인 방법은 아니지만,윈도우환경 eclipse상에선 분산 환경이 아니니 DistributedCache부분을 주석처리, codec을 DefaultCodec으로 변경하고, 테스트하였다. package com.dbility.hadoop.execise; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.conf.Configured; import org.apache.hadoop.filecache.DistributedCache; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable..