DBILITY

kafka cluster 로 big-slave2, big-slave3, big-slave4 에 3개를 설치해 본다. ssh인증부분은 없어도 될거 같은데...일단 복사문제, systemd 실행시 실행유저가 필요하니 추가함. #kafka cluster가 될 3대에 모두 추가 [root@big-slave2 ~]# useradd kafka ; echo 'kafka' | passwd --stdin kafka ; usermod -G datagroup kafka Changing password for user kafka. passwd: all authentication tokens updated successfully. [root@big-slave2 ~]# ssh big-slave3 "useradd kafka ; e..

https://www.inflearn.com/course/elk-%EC%8A%A4%ED%83%9D-%EB%8D%B0%EC%9D%B4%ED%84%B0-%EB%B6%84%EC%84%9D/

참고하여 설치해보자. 시작하세요! 하둡프로그래밍의 저자가 근무하는 곳인가 보다. 책처럼 깔끔하다. 따라하면 되겠다. http://gruter.github.io/cloumon-elk/ [root@big-master ~]# adduser gmonitor [root@big-master ~]# passwd gmonitor Changing password for user gmonitor. New password: BAD PASSWORD: The password contains the user name in some form Retype new password: passwd: all authentication tokens updated successfully. [root@big-master ~]# usermod -..

복잡하구만~ㅎㅎ 아무래도 이건 HDP용이 되겠다. 설치해보니 HDP기준의 설정이 되어 있고, Cluster설정 후 새로 설치하게 되어 있다. ambari-agent.ini안에 보니 headbeat섹션에 dirs가 명시되어 있다. 그렇다면 ambari server에서 cluster설정 후 hadoop등을 설치하면 저 경로를 사용한다는 거네. 하루가까이 걸려 설치해 알게 된것은 HDP버전으로 설치하면 되겠다. 나중에 해보자. [root@big-master apache-ambari-2.6.2-src]# scp ambari-agent/target/rpm/ambari-agent/RPMS/x86_64/ambari-agent-2.6.2.0-0.x86_64.rpm big-slave1:/root/ [root@big-ma..

하둡 클러스터의 모니터링이 필요한데, 좋은게 있구만.HDP에서 사용한다고 함. 심지어 설치 및 구성까지 다 해주는가 보다...나는 대체 뭐했던 거지? 일단 https://cwiki.apache.org/confluence/display/AMBARI/Installation+Guide+for+Ambari+2.6.2 따라 해보자. OS는 CenOS 7(CentOS Linux release 7.4.1708 (Core))이다. rpm-build, npm, git, python-devel이 설치되어 있어야 한다. build시 뜨거운 오류를 만나게 되어, 메시지보고 경험한 것이다. 믿어지질 않는다면 해보시길~이거 무지하다보니 시간이 하루 근무량이다... hortonworks에서 만들었다더니 repo접속을 많이 한다. ..