DBILITY

flume의 file Source,Channel,Sink 기능과 비교해 보기 위해 윈도우용을 진행해 본다. 윈도우용 wget이 필요하다. 물론, 그냥 web 다운로드도 가능하다. https://www.elastic.co/kr/를 참고하자. E:\>wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.2.4-windows-x86_64.zip --2018-05-11 22:40:18-- https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.2.4-windows-x86_64.zip Resolving artifacts.elastic.co (artifacts.elastic.co)....

kafka를 flume channel로 이용해 보자. 먼저 channel을 만든다. 순서보장을 위해 parition은 1개만 선언하고, ha용 replication factor는 2로 실행 [kafka@big-slave4 ~]$ kafka-topics.sh \ --zookeeper big-master:2181,big-slave1:2181,big-slave2:2181/kafka-cluster \ --topic flume-channel --partitions 1 --replication-factor 2 --create Created topic "flume-channel". leader 확인 [kafka@big-slave4 ~]$ kafka-topics.sh \ --zookeeper big-master:218..