DBILITY

Sqoop 5 Minutes Demo를 참고하여 oracle etl 테스트를 해보았다. link를 생성, job을 생성할때 from link, to link 지정, job을 기술한다. 테스트할 ETL UseCase는 oracle db의 테스트용 임시 데이터를 생성하고, 이 데이터를 sqoop job을 통해 hdfs에 저장한다. SQOOP_SERVER_EXTRA_LIB에 oracle jdbc driver가 설치되어 있어야 한다. link생성시 비밀번호에 특수문자가 포함되어 있으니 안된다..shell에서만 안되는 것일까? oracle-jdbc-connector를 썼더니,mapper에서 oralce.jdbc.OracleDriver를 load하지 못하였다. sqoop2는 서버기반이라 서버쪽에만 jdbc driv..

설치 및 테스트는 oracle2hdfs를 테스트하기 위해서 2016년에 실시해 봤다. 머리속에 기록이 안되는 관계로 매뉴얼에 따라 정리한다. 아키텍쳐는 아래와 같다. https://blogs.apache.org/sqoop/mediaresource/a04e8f6f-4d1e-4ee9-b726-af4e078599cf [root@big-master ~]# adduser sqoop2 ; echo 'sqoop2' | passwd --stdin sqoop2 ; usermod -G datagroup sqoop2 Changing password for user sqoop2. passwd: all authentication tokens updated successfully. [root@big-master ~]# cd /u..

RHEL7부터 커널버전이 3.X로 바뀌었다더니만, 전통적인 방법으로 SysV... /etc/rc.d/init.d에 스크립트를 작성하고 chkconfig,service로 제어하던 것만 기억하고 있는데, centos 7은 다르구만. 세상이 달라졌네..언제부터 달라진건지 원ㅎㅎ 서비스데몬의 자동시작 스크립트는 필수적이니 정리해 보자. 아래는 systemclt 명령중 자주 쓰는 옵션(?)이다. 참고 https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/7/html/system_administrators_guide/sect-managing_services_with_systemd-unit_files https://potatogim.net/wi..

https://data-artisans.com/blog/kafka-flink-a-practical-how-to

https://data-artisans.com/blog/high-throughput-low-latency-and-exactly-once-stream-processing-with-apache-flink