DBILITY

테스트용 서버 5대를 한꺼번에 명령을 입력할 수는 없다...힘들다... Shell Programming을 잘 하진 못하니 이것만도 어딘가. 스크립트를 실행할 호스트의 root ssh인증키로 관리할 서버에 비밀번호없이 접근가능하게 되어 있어야 한다. 이미 시작되어 있는 경우등을 체크해야 하겠지만 능력없다. 동일서버에 있는 서비스는 한꺼번에 적용 가능하다. 기록만이 살길이다 system 전체 #!/bin/bash enable() { systemctl daemon-reload systemctl enable zookeeper systemctl enable hadoop systemctl enable tajo systemctl enable sqoop ssh big-slave2 "systemctl enable mar..

Confluent GitHub에서 ksql 4.1 release만 다운 받아 컴파일하고 실행해 보니 confluent-common, rest-utils 관련 패키지 오류가 발생했다. Confluent Platform의 OpenSource를 다운 받아 열어보니 거기에는 있었다. ksql에 대한 기대감이 크기도 하고, 이렇게 된 바에야 Confluent Platform에서 다운받아 쓰기로 한다. 헌데 거긴 zookeeper,kafka까지 모두 들어 있다. 오~마이~갓! docker도 써 볼겸 docker로 설치해 보자. docker는 https://docs.docker.com/install/linux/docker-ce/centos/를 참조해서 설치한다. [root@big-slave2 ~]# systemctl..

책보고 해봤다. package의 장점, 설치의 간편함이다. elasticsearch는 cluster name이 같으면 자동 ha라는군. [root@big-master ~]# rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch [root@big-master ~]# vi /etc/yum yum/ yum.conf yum.repos.d/ [root@big-master ~]# vi /etc/yum.repos.d/elasticsearch.repo [root@big-master ~]# yum -y install elasticsearch Loaded plugins: fastestmirror base | 3.6 kB 00:00:00 elasticsearch-..

filebeat kafka out을 테스트해 보았다. elasticsearch로 보내기 위해 nifi로 dataflow를 구성,elasticseach에 저장하고 검색할 수 있다. kibana에서 dashboard를 구성해 봐야한다. [kafka@big-slave4 ~]$ kafka-topics.sh \ > --zookeeper big-master:2181,big-slave1:2181,big-slave2:2181/kafka-cluster \ > --topic kafka-log --partitions 3 --replication-factor 2 --create Created topic "kafka-log". [kafka@big-slave4 ~]$ exit logout [root@big-slave4 ~]# r..

kafka를 data bus로 사용하고, hdfs 저장은 HDFSSinkConnector를 통해 저장할 수 있으니, producer로 flume agent를 사용하지 않더라도 경우에 따라선 filebeat으로 대체도 가능하겠다. 테스트에 필요한 로그데이터는 flume을 통해 생성해서 file_roll sink로 ./logdata 디렉토리에 저장한다. filebeat에서 log를 읽어 kafka out을 통해 kafka topic으로 보낸다. kafka 토픽생성 [kafka@big-slave4 ~]$ kafka-topics.sh \ --zookeeper big-master:2181,big-slave1:2181,big-slave2:2181/kafka-cluster \ --topic filebeat-topic..