| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 |
- mybatis
- plugin
- Eclipse
- xPlatform
- Sqoop
- Spring
- JavaScript
- IntelliJ
- Java
- 보조정렬
- es6
- SQL
- Android
- 공정능력
- MSSQL
- SSL
- Express
- hadoop
- NPM
- R
- window
- Python
- react
- vaadin
- tomcat
- mapreduce
- table
- SPC
- GIT
- Kotlin
- Today
- Total
목록2017/03/12 (4)
DBILITY
ASA항공운항 기록에서 년/월별 지연도착 통계를 정렬 후 SequenceFile로 저장하고, 읽는 걸 해봄. package com.dbility.hadoop.execise; import java.io.BufferedInputStream; import java.io.BufferedReader; import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; import java.io.InputStream; import java.io.StringWriter; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.conf.Configured; import or..
리눅스 완전 분산 모드에서 테스트되었으며, 정상적인 방법은 아니지만,윈도우환경 eclipse상에선 분산 환경이 아니니 DistributedCache부분을 주석처리, codec을 DefaultCodec으로 변경하고, 테스트하였다. package com.dbility.hadoop.execise; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.conf.Configured; import org.apache.hadoop.filecache.DistributedCache; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable..
첨부는 혹시 모를 원본사이트의 자료가 삭제될 것에 대비해 탑재하였습니다. http://www.ics.uci.edu/~shantas/Install_Hadoop-2.6.0_on_Windows10.pdf
2번째 실습에서 보였던 결과 저장 파일의 맨 앞줄은 PrintWriter로 write하니 이상한 문자가 사라졌다. 윈도 환경 eclipse에서 실행하였다. 리눅스 환경의 완전 분산 모드에선 Codec을 GzipCodec으로 변경했고, Configuration property 설정 부분을 주석처리 후 테스트했다. hadoop3이 나오는 마당에 hadoop2환경까진 공부하고. 이후엔 SQL on Hadoop인 tajo까지 사용 가능해야 한다. 그때쯤엔 spring+mybatis환경에서 tajo jdbc driver를 통해 RIA UI에 hdfs 데이터를 리스트업 하는 것까지 해보고 싶다. 4.0.0 com.dbility.hadoop execise 1.0.0 1.7 UTF-8 hadoop hadoop big-..