728x90

목록분류 전체보기 (661)

DBILITY

클래스 다이어그램과 소스코드 매핑

http://www.nextree.co.kr/p6753/ 잘 정리되어 있습니다.
reference 2017. 3. 24. 12:55
hadoop 2.6.x eclipse plugin

https://github.com/winghc/hadoop2x-eclipse-plugin/blob/master/release/hadoop-eclipse-plugin-2.6.0.jar 만약을 대비해 첨부해 두려 했으나, 용량 제한이 있구나.. 그리하여 분할압축~ 집에서 같은 환경에서 안되던게, 왜 여기선 되는가.. 심지어 ant build까지 시도해서 2.6.4 target을 생성했어도 안되더니... 이거 원 어제 만든 걸 백업해 둘걸~ㅠㅠ 집에서 사용하는 Eclipse환경의 문제가 있다. 해결하기보단 그냥 mars를 다운로드하고 테스트 해보니 된다.
bigdata/hadoop 2017. 3. 23. 15:48
hadoop secondary sort 4 ( 보조정렬 실습 )

ASA항공운항 기록에서 년/월별 지연도착 통계를 정렬 후 SequenceFile로 저장하고, 읽는 걸 해봄. package com.dbility.hadoop.execise; import java.io.BufferedInputStream; import java.io.BufferedReader; import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; import java.io.InputStream; import java.io.StringWriter; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.conf.Configured; import or..
bigdata/hadoop 2017. 3. 12. 23:06
hadoop total sort exercise ( 전체 정렬 실습 )

리눅스 완전 분산 모드에서 테스트되었으며, 정상적인 방법은 아니지만,윈도우환경 eclipse상에선 분산 환경이 아니니 DistributedCache부분을 주석처리, codec을 DefaultCodec으로 변경하고, 테스트하였다. package com.dbility.hadoop.execise; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.conf.Configured; import org.apache.hadoop.filecache.DistributedCache; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable..
bigdata/hadoop 2017. 3. 12. 17:54
Installing Hadoop-2.6.x on Windows 10

첨부는 혹시 모를 원본사이트의 자료가 삭제될 것에 대비해 탑재하였습니다. http://www.ics.uci.edu/~shantas/Install_Hadoop-2.6.0_on_Windows10.pdf
reference 2017. 3. 12. 11:57
Prev 1 ··· 106 107 108 109 110 111 112 ··· 133 Next
728x90