DBILITY

Confluent GitHub에서 ksql 4.1 release만 다운 받아 컴파일하고 실행해 보니 confluent-common, rest-utils 관련 패키지 오류가 발생했다. Confluent Platform의 OpenSource를 다운 받아 열어보니 거기에는 있었다. ksql에 대한 기대감이 크기도 하고, 이렇게 된 바에야 Confluent Platform에서 다운받아 쓰기로 한다. 헌데 거긴 zookeeper,kafka까지 모두 들어 있다. 오~마이~갓! docker도 써 볼겸 docker로 설치해 보자. docker는 https://docs.docker.com/install/linux/docker-ce/centos/를 참조해서 설치한다. [root@big-slave2 ~]# systemctl..

책보고 해봤다. package의 장점, 설치의 간편함이다. elasticsearch는 cluster name이 같으면 자동 ha라는군. [root@big-master ~]# rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch [root@big-master ~]# vi /etc/yum yum/ yum.conf yum.repos.d/ [root@big-master ~]# vi /etc/yum.repos.d/elasticsearch.repo [root@big-master ~]# yum -y install elasticsearch Loaded plugins: fastestmirror base | 3.6 kB 00:00:00 elasticsearch-..

가상시스템에 디스크용량을 늘렸다. 헌데 lvm....이것 저것 찾아 해봤는데도 file system 정보에선 늘어나지 않는 용량... CenOS 7부턴 xfs_growfs를 써야한다고 함. 생각해보니 partition의 file type이 xfs였나 보다. [root@big-master ~]# resize2fs /dev/mapper/centos-root resize2fs 1.42.9 (28-Dec-2013) resize2fs: Bad magic number in super-block while trying to open /dev/mapper/centos-root Couldn't find valid filesystem superblock. [root@big-master ~]# xfs_growfs /dev/..

filebeat kafka out을 테스트해 보았다. elasticsearch로 보내기 위해 nifi로 dataflow를 구성,elasticseach에 저장하고 검색할 수 있다. kibana에서 dashboard를 구성해 봐야한다. [kafka@big-slave4 ~]$ kafka-topics.sh \ > --zookeeper big-master:2181,big-slave1:2181,big-slave2:2181/kafka-cluster \ > --topic kafka-log --partitions 3 --replication-factor 2 --create Created topic "kafka-log". [kafka@big-slave4 ~]$ exit logout [root@big-slave4 ~]# r..

kafka를 data bus로 사용하고, hdfs 저장은 HDFSSinkConnector를 통해 저장할 수 있으니, producer로 flume agent를 사용하지 않더라도 경우에 따라선 filebeat으로 대체도 가능하겠다. 테스트에 필요한 로그데이터는 flume을 통해 생성해서 file_roll sink로 ./logdata 디렉토리에 저장한다. filebeat에서 log를 읽어 kafka out을 통해 kafka topic으로 보낸다. kafka 토픽생성 [kafka@big-slave4 ~]$ kafka-topics.sh \ --zookeeper big-master:2181,big-slave1:2181,big-slave2:2181/kafka-cluster \ --topic filebeat-topic..