DBILITY

설치 및 테스트는 oracle2hdfs를 테스트하기 위해서 2016년에 실시해 봤다. 머리속에 기록이 안되는 관계로 매뉴얼에 따라 정리한다. 아키텍쳐는 아래와 같다. https://blogs.apache.org/sqoop/mediaresource/a04e8f6f-4d1e-4ee9-b726-af4e078599cf [root@big-master ~]# adduser sqoop2 ; echo 'sqoop2' | passwd --stdin sqoop2 ; usermod -G datagroup sqoop2 Changing password for user sqoop2. passwd: all authentication tokens updated successfully. [root@big-master ~]# cd /u..

아래 매뉴얼과 [시작하세요! 하둡프로그래밍 - 정재화지음] 책을 참고하여 열심히 해보자. 사내 또는 사설 mvn repository가 있다면 pom에 추가하면, 빌드시간이 좀 줄어든다. https://zookeeper.apache.org/doc/r3.4.11/zookeeperStarted.html#sc_RunningReplicatedZooKeeper https://zookeeper.apache.org/doc/r3.4.11/zookeeperAdmin.html#sc_advancedConfiguration http://hadoop.apache.org/docs/r2.7.5/hadoop-project-dist/hadoop-common/SingleCluster.html#Setup_passphraseless_ssh ..

따라해보자. 대충 읽어 보니 "in production, you should run ZooKeeper in replicated mode, all servers in the quorum have copies of the same configuration file" 이라는데. dataDir에 myid파일은 서버번호별로~ https://zookeeper.apache.org/doc/r3.4.11/zookeeperStarted.html#sc_RunningReplicatedZooKeeper https://zookeeper.apache.org/doc/r3.4.11/zookeeperAdmin.html#sc_advancedConfiguration 먼저 java설치가 되어 있어야 한다. #zookeeper가 설치될 3대(..

Job fail일 발생했다. AM이 죽었다는건가? 안되는 영어독해를 해보니 물리메모리 제한을 넘어서 실행을 했다고? reduce시작하고 저러는 걸 보니 그쪽문제인가.. container physical memory check를 비활성화하고 해봤다. 그래도 죽는다.. 연습도 할겸 며칠 후 2.7.6으로 재설치를 했다. 테스트 당시는 2.7.5였다. 뭥미 container physical memory check나 기타 한게 없다....정상이다.. jdk1.8때문이라는 내용도 있다.상세한 설명이 없지만.. 18/04/14 17:41:07 INFO mapreduce.Job: Task Id : attempt_1523694716869_0001_r_000000_0, Status : FAILED Container [p..

소스컴파일 후 공식사이트 매뉴얼에 따라 진행, 사내 또는 사설 mvn repository가 있다면 pom에 추가하면, 빌드시간이 좀 줄어든다. 5대의 서버에 각각 user는 tajo, datagroup에 추가하고, ssh인증키로 접근 가능하게도 해야한다. active tajoMaster를 kill하고 보니 backup tajoMaster가 active로 바뀌어 있었다. 죽였던 tajoMaster는 tajo-daemon.sh start master 시작됨. derby를 사용하니 catalog공유가 안된다. mariadb를 설치한다. 설치 후 테스트 중 갑자기 Backup master가 active, Active master도 active 상태가 되었다. 일단 1) tajo.worker.resource.di..