DBILITY

복잡하구만~ㅎㅎ 아무래도 이건 HDP용이 되겠다. 설치해보니 HDP기준의 설정이 되어 있고, Cluster설정 후 새로 설치하게 되어 있다. ambari-agent.ini안에 보니 headbeat섹션에 dirs가 명시되어 있다. 그렇다면 ambari server에서 cluster설정 후 hadoop등을 설치하면 저 경로를 사용한다는 거네. 하루가까이 걸려 설치해 알게 된것은 HDP버전으로 설치하면 되겠다. 나중에 해보자. [root@big-master apache-ambari-2.6.2-src]# scp ambari-agent/target/rpm/ambari-agent/RPMS/x86_64/ambari-agent-2.6.2.0-0.x86_64.rpm big-slave1:/root/ [root@big-ma..

하둡 클러스터의 모니터링이 필요한데, 좋은게 있구만.HDP에서 사용한다고 함. 심지어 설치 및 구성까지 다 해주는가 보다...나는 대체 뭐했던 거지? 일단 https://cwiki.apache.org/confluence/display/AMBARI/Installation+Guide+for+Ambari+2.6.2 따라 해보자. OS는 CenOS 7(CentOS Linux release 7.4.1708 (Core))이다. rpm-build, npm, git, python-devel이 설치되어 있어야 한다. build시 뜨거운 오류를 만나게 되어, 메시지보고 경험한 것이다. 믿어지질 않는다면 해보시길~이거 무지하다보니 시간이 하루 근무량이다... hortonworks에서 만들었다더니 repo접속을 많이 한다. ..

cluster 내 서버 간의 시간이 달라지면 곤란(?)하니 동기화가 필요하다. 즉시 동기화는 rdate를 쓰자. rdate -s time.bora.net [root@big-slave1 ~]# yum -y install ntp Loaded plugins: fastestmirror Loading mirror speeds from cached hostfile * base: ftp.neowiz.com * epel: ftp.riken.jp * extras: mirror.kakao.com * updates: mirror.kakao.com Resolving Dependencies --> Running transaction check ---> Package ntp.x86_64 0:4.2.6p5-25.el7.centos..

hadoop cluster에 avro sink를 통해 저장하는 걸 가상으로 테스트해보고 싶은데, 그렇다고 능력은 안되고, flume-ng-core 소스중 org.apache.flume.source.SequenceGeneratorSource.java를 살짝 바꿨다. PollableSourceRunner를 보니 getMaxBackOffSleepInterval만큼 Tread를 sleep상태로 둔다.기본 5000ms 이것 저거 바꿔볼 몸 상태가 아니다.목,어깨,손이 아프다. build후엔 flume directory에 lib 또는 plugin.d/plugin명/lib 넣으면 된다.안되면 말고~ pom.xml 4.0.0 com.dbility.bigdata.flume.source flume-source-genera..

https://blog.gaerae.com/2015/01/bash-hello-world.html https://wiki.kldp.org/HOWTO/html/Adv-Bash-Scr-HOWTO/