DBILITY

https://github.com/steveloughran/winutils GitHub - steveloughran/winutils: Windows binaries for Hadoop versions (built from the git commit ID used for the ASF relase) Windows binaries for Hadoop versions (built from the git commit ID used for the ASF relase) - GitHub - steveloughran/winutils: Windows binaries for Hadoop versions (built from the git commit ID use... github.com 어떻게 했었는지 기억이 안남..

https://github.com/winghc/hadoop2x-eclipse-plugin/blob/master/release/hadoop-eclipse-plugin-2.6.0.jar 만약을 대비해 첨부해 두려 했으나, 용량 제한이 있구나.. 그리하여 분할압축~ 집에서 같은 환경에서 안되던게, 왜 여기선 되는가.. 심지어 ant build까지 시도해서 2.6.4 target을 생성했어도 안되더니... 이거 원 어제 만든 걸 백업해 둘걸~ㅠㅠ 집에서 사용하는 Eclipse환경의 문제가 있다. 해결하기보단 그냥 mars를 다운로드하고 테스트 해보니 된다.

ASA항공운항 기록에서 년/월별 지연도착 통계를 정렬 후 SequenceFile로 저장하고, 읽는 걸 해봄. package com.dbility.hadoop.execise; import java.io.BufferedInputStream; import java.io.BufferedReader; import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; import java.io.InputStream; import java.io.StringWriter; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.conf.Configured; import or..

리눅스 완전 분산 모드에서 테스트되었으며, 정상적인 방법은 아니지만,윈도우환경 eclipse상에선 분산 환경이 아니니 DistributedCache부분을 주석처리, codec을 DefaultCodec으로 변경하고, 테스트하였다. package com.dbility.hadoop.execise; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.conf.Configured; import org.apache.hadoop.filecache.DistributedCache; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable..

2번째 실습에서 보였던 결과 저장 파일의 맨 앞줄은 PrintWriter로 write하니 이상한 문자가 사라졌다. 윈도 환경 eclipse에서 실행하였다. 리눅스 환경의 완전 분산 모드에선 Codec을 GzipCodec으로 변경했고, Configuration property 설정 부분을 주석처리 후 테스트했다. hadoop3이 나오는 마당에 hadoop2환경까진 공부하고. 이후엔 SQL on Hadoop인 tajo까지 사용 가능해야 한다. 그때쯤엔 spring+mybatis환경에서 tajo jdbc driver를 통해 RIA UI에 hdfs 데이터를 리스트업 하는 것까지 해보고 싶다. 4.0.0 com.dbility.hadoop execise 1.0.0 1.7 UTF-8 hadoop hadoop big-..