DBILITY

kafka를 flume channel로 이용해 보자. 먼저 channel을 만든다. 순서보장을 위해 parition은 1개만 선언하고, ha용 replication factor는 2로 실행 [kafka@big-slave4 ~]$ kafka-topics.sh \ --zookeeper big-master:2181,big-slave1:2181,big-slave2:2181/kafka-cluster \ --topic flume-channel --partitions 1 --replication-factor 2 --create Created topic "flume-channel". leader 확인 [kafka@big-slave4 ~]$ kafka-topics.sh \ --zookeeper big-master:218..

hadoop cluster에 avro sink를 통해 저장하는 걸 가상으로 테스트해보고 싶은데, 그렇다고 능력은 안되고, flume-ng-core 소스중 org.apache.flume.source.SequenceGeneratorSource.java를 살짝 바꿨다. PollableSourceRunner를 보니 getMaxBackOffSleepInterval만큼 Tread를 sleep상태로 둔다.기본 5000ms 이것 저거 바꿔볼 몸 상태가 아니다.목,어깨,손이 아프다. build후엔 flume directory에 lib 또는 plugin.d/plugin명/lib 넣으면 된다.안되면 말고~ pom.xml 4.0.0 com.dbility.bigdata.flume.source flume-source-genera..

최소 XP부터 지원이 되어야 할것 같다. 일단 kafka가 없다는 가정하에 시작해 보자. 실은 아직 kafka를 테스트 하지 못했다. Syslog는 Syslog damon에서 보내줘야하니 패스하자. 몇시간 apache http server access log를 source로 logger sink를 돌려보니 properties변경도 체크를 한다. logger sink는 max 16byte만 출력을 하니, custom sink가 필요할 듯 (매뉴얼참고) standalone port monitoring tool이나 logger view도 custom source,channel,sink를 만들면 쓸만하것다. 목수에게 새망치가 생기면, 튀어나온 모든 것이 못으로 보인다더니만ㅎㅎ 이거 이전에 만든 batch프로그램..

XP client에 테스트하려 이전에 java app실행용 bat를 좀 수정했다. 대단한 것은 없고, dos batch 전문가는 아니라 경로나 파일 확인등은 거의 없다. DosTips를 참고하면 좋다. 주로 window client에서 실행되는 경우 서비스로 등록해서 사용해야한다. 등록스크립트도 bat로 만들어야겠다.필요시 installer를 innosetup으로 제작하면 되겠다. 물론 사용자에 따라서 새빨간~이 아닌 시커먼 화면을 즐기시는 분들이 있으니,모니터링 콘솔도 띄워줘야 하고.. 기록을 먼저 하고 테스트하면서 JAVA_OPTION을 변경해야 겠다. @ECHO OFF @TITLE=Flume Agent Test @REM MODE CON:COLS=140 LINES=2500 PUSHD %~dp0 SET..

flume은 Source, Channel, Sink로 구성되며, Source는 데이터를 수집, Channel은 sink로 넘기기전 저장하는 버퍼(?), Sink는 Channel의 데이터를 저장하는 역할이다. Sink가 다른 Source를 향할 수 있다.최종적으론 stream을 처리하는 특정 포트(?)로 전송하거나 hdfs에 저장하는데 사용하겠다. flume.apache.org에서 apache-flume-1.8.0-bin.tar.gz를 다운받아 윈도우에서 테스트 해봄 공식사이트 User Guide에 따라 그냥 테스트해 봄 window용 wget사용해서 다운로드 먼저 설치, 압축해제를 위해 7Zip path도 설정해야함. 물론 그냥 다운로드하고,압출프로그램에서 풀어도 된다.ㅎㅎ netcat source도 테..