반응형

목록2017/03/06 (1)

DBILITY

hadoop Mapper이용 text파일을 SequenceFileFormat으로 저장

아무 이유 없이 그냥 한번 해봤다. 윈도 환경이라 압축코덱을 설정하기 어려워 DefaultCodec은 사용이 되길래 사용하였고, eclipse에서 테스트되었습니다. Txt2SequenceFileConverter는 csv형태의 Text파일을 Mapper를 통해 SequenceFile로 변환 후 저장하고, SequenceFileRead는 SequenceFIle경로를 읽어 각 파일의 압축 정보를 출력하고, 데이터는 한 라인만 출력. 결과에 CompressorType을 보니 BuiltInZlibDeflater네요. zlib를 사용하나 보네요. 분명 native-zlib library 로딩이 안된다고 나왔는데... 누군가에겐 당연한 얘기겠지만, CompressionType에 따라 헤더가 달라지나 봅니다. Enum..
bigdata/hadoop 2017. 3. 6. 21:28
Prev 1 Next
반응형