DBILITY

참고하여 설치해보자. 시작하세요! 하둡프로그래밍의 저자가 근무하는 곳인가 보다. 책처럼 깔끔하다. 따라하면 되겠다. http://gruter.github.io/cloumon-elk/ [root@big-master ~]# adduser gmonitor [root@big-master ~]# passwd gmonitor Changing password for user gmonitor. New password: BAD PASSWORD: The password contains the user name in some form Retype new password: passwd: all authentication tokens updated successfully. [root@big-master ~]# usermod -..

복잡하구만~ㅎㅎ 아무래도 이건 HDP용이 되겠다. 설치해보니 HDP기준의 설정이 되어 있고, Cluster설정 후 새로 설치하게 되어 있다. ambari-agent.ini안에 보니 headbeat섹션에 dirs가 명시되어 있다. 그렇다면 ambari server에서 cluster설정 후 hadoop등을 설치하면 저 경로를 사용한다는 거네. 하루가까이 걸려 설치해 알게 된것은 HDP버전으로 설치하면 되겠다. 나중에 해보자. [root@big-master apache-ambari-2.6.2-src]# scp ambari-agent/target/rpm/ambari-agent/RPMS/x86_64/ambari-agent-2.6.2.0-0.x86_64.rpm big-slave1:/root/ [root@big-ma..

하둡 클러스터의 모니터링이 필요한데, 좋은게 있구만.HDP에서 사용한다고 함. 심지어 설치 및 구성까지 다 해주는가 보다...나는 대체 뭐했던 거지? 일단 https://cwiki.apache.org/confluence/display/AMBARI/Installation+Guide+for+Ambari+2.6.2 따라 해보자. OS는 CenOS 7(CentOS Linux release 7.4.1708 (Core))이다. rpm-build, npm, git, python-devel이 설치되어 있어야 한다. build시 뜨거운 오류를 만나게 되어, 메시지보고 경험한 것이다. 믿어지질 않는다면 해보시길~이거 무지하다보니 시간이 하루 근무량이다... hortonworks에서 만들었다더니 repo접속을 많이 한다. ..

hadoop cluster에 avro sink를 통해 저장하는 걸 가상으로 테스트해보고 싶은데, 그렇다고 능력은 안되고, flume-ng-core 소스중 org.apache.flume.source.SequenceGeneratorSource.java를 살짝 바꿨다. PollableSourceRunner를 보니 getMaxBackOffSleepInterval만큼 Tread를 sleep상태로 둔다.기본 5000ms 이것 저거 바꿔볼 몸 상태가 아니다.목,어깨,손이 아프다. build후엔 flume directory에 lib 또는 plugin.d/plugin명/lib 넣으면 된다.안되면 말고~ pom.xml 4.0.0 com.dbility.bigdata.flume.source flume-source-genera..

staging에서 target table로는 프로세스가 하나만 도는가 보다. extracter는 mapper, loader가 0이 아닌경우 reduce task도 실행이 되네. extracter 8, loader 0일때가 extractor 4, loader 4보다 빠르네. 아마도 loader를 설정하면 reduce task로 sort,shuffle하는 시간이 많이 걸리나 보다. 거기다 heap oom이 발생하기도 한다. 메모리를 늘려야겠다.... 테스트환경마다 다르겠지. oracle parallel load랑 비교해 봐야겠다. bulk load형태로 rdb table의 storage param중 logging을 off하고 해보는것도 좋겠다. 약 700M 크기의 csv 파일을 로드하는데 paritioner..