반응형

목록2018/05/03 (1)

DBILITY

flume hadoop 연동 테스트 소스 데이터 생성

hadoop cluster에 avro sink를 통해 저장하는 걸 가상으로 테스트해보고 싶은데, 그렇다고 능력은 안되고, flume-ng-core 소스중 org.apache.flume.source.SequenceGeneratorSource.java를 살짝 바꿨다. PollableSourceRunner를 보니 getMaxBackOffSleepInterval만큼 Tread를 sleep상태로 둔다.기본 5000ms 이것 저거 바꿔볼 몸 상태가 아니다.목,어깨,손이 아프다. build후엔 flume directory에 lib 또는 plugin.d/plugin명/lib 넣으면 된다.안되면 말고~ pom.xml 4.0.0 com.dbility.bigdata.flume.source flume-source-genera..
bigdata/flume 2018. 5. 3. 19:30
Prev 1 Next
반응형