728x90

목록전체 글 (661)

DBILITY

apache sqoop2 설치

설치 및 테스트는 oracle2hdfs를 테스트하기 위해서 2016년에 실시해 봤다. 머리속에 기록이 안되는 관계로 매뉴얼에 따라 정리한다. 아키텍쳐는 아래와 같다. https://blogs.apache.org/sqoop/mediaresource/a04e8f6f-4d1e-4ee9-b726-af4e078599cf [root@big-master ~]# adduser sqoop2 ; echo 'sqoop2' | passwd --stdin sqoop2 ; usermod -G datagroup sqoop2 Changing password for user sqoop2. passwd: all authentication tokens updated successfully. [root@big-master ~]# cd /u..
bigdata/sqoop 2018. 4. 20. 17:09
centos 7 systemd 서비스 작성

RHEL7부터 커널버전이 3.X로 바뀌었다더니만, 전통적인 방법으로 SysV... /etc/rc.d/init.d에 스크립트를 작성하고 chkconfig,service로 제어하던 것만 기억하고 있는데, centos 7은 다르구만. 세상이 달라졌네..언제부터 달라진건지 원ㅎㅎ 서비스데몬의 자동시작 스크립트는 필수적이니 정리해 보자. 아래는 systemclt 명령중 자주 쓰는 옵션(?)이다. 참고 https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/7/html/system_administrators_guide/sect-managing_services_with_systemd-unit_files https://potatogim.net/wi..
os/linux 2018. 4. 20. 08:27
Kafka + Flink: A Practical, How-To Guide

https://data-artisans.com/blog/kafka-flink-a-practical-how-to
reference 2018. 4. 19. 15:49
storm spark flink link ( 비교 )

https://data-artisans.com/blog/high-throughput-low-latency-and-exactly-once-stream-processing-with-apache-flink
reference 2018. 4. 19. 15:48
apache hadoop HA 설치

아래 매뉴얼과 [시작하세요! 하둡프로그래밍 - 정재화지음] 책을 참고하여 열심히 해보자. 사내 또는 사설 mvn repository가 있다면 pom에 추가하면, 빌드시간이 좀 줄어든다. https://zookeeper.apache.org/doc/r3.4.11/zookeeperStarted.html#sc_RunningReplicatedZooKeeper https://zookeeper.apache.org/doc/r3.4.11/zookeeperAdmin.html#sc_advancedConfiguration http://hadoop.apache.org/docs/r2.7.5/hadoop-project-dist/hadoop-common/SingleCluster.html#Setup_passphraseless_ssh ..
bigdata/hadoop 2018. 4. 17. 22:34
Prev 1 ··· 91 92 93 94 95 96 97 ··· 133 Next
728x90