DBILITY

https://data-artisans.com/blog/high-throughput-low-latency-and-exactly-once-stream-processing-with-apache-flink

아래 매뉴얼과 [시작하세요! 하둡프로그래밍 - 정재화지음] 책을 참고하여 열심히 해보자. 사내 또는 사설 mvn repository가 있다면 pom에 추가하면, 빌드시간이 좀 줄어든다. https://zookeeper.apache.org/doc/r3.4.11/zookeeperStarted.html#sc_RunningReplicatedZooKeeper https://zookeeper.apache.org/doc/r3.4.11/zookeeperAdmin.html#sc_advancedConfiguration http://hadoop.apache.org/docs/r2.7.5/hadoop-project-dist/hadoop-common/SingleCluster.html#Setup_passphraseless_ssh ..

따라해보자. 대충 읽어 보니 "in production, you should run ZooKeeper in replicated mode, all servers in the quorum have copies of the same configuration file" 이라는데. dataDir에 myid파일은 서버번호별로~ https://zookeeper.apache.org/doc/r3.4.11/zookeeperStarted.html#sc_RunningReplicatedZooKeeper https://zookeeper.apache.org/doc/r3.4.11/zookeeperAdmin.html#sc_advancedConfiguration 먼저 java설치가 되어 있어야 한다. #zookeeper가 설치될 3대(..

jdk 1.8 64bit 설치 openjdk도 많이 쓰던데, java.oracle.com에서 다운로드합니다. 다운로드에서 링크주소를 복사해서 사용.. http://download.oracle.com/otn-pub/java/jdk/8u162-b12/0da788060d494f5095bf8624735fa2f1/jdk-8u162-linux-x64.tar.gz [root@big-master ~]# cd /usr/local/src/ [root@big-master src]# wget \ > --no-cookies --no-check-certificate \ > --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebac..

tajo catalog로 사용할 db가 필요했다. PostgreSQL을 쓰자니 경험이 일천하다. 회사 업무용은 PostgreSQL로 대체하기로 했는데..framework은 거의 준비가 되었다만.. apm사용하던때는 mysql compile도 많이 했는데,configure.... mariadb는 처음이다.cmake를 쓰는구만. make file 생성인지 check인지 하는 중에 library 오류가 나면 찾아서 설치해 준다. 엄청 오래 걸린다..테스트용도는 그냥 rpm이나 binary버전으로 설치하는게 좋겠다. 그나저나 개발자는 참 좋은 아빠다. 딸들이름을 개발제품에 쓸 정도니까ㅎㅎ 나는 어떤 아빠일까... https://mariadb.com/kb/en/library/Build_Environment_Set..