DBILITY

flume은 Source, Channel, Sink로 구성되며, Source는 데이터를 수집, Channel은 sink로 넘기기전 저장하는 버퍼(?), Sink는 Channel의 데이터를 저장하는 역할이다. Sink가 다른 Source를 향할 수 있다.최종적으론 stream을 처리하는 특정 포트(?)로 전송하거나 hdfs에 저장하는데 사용하겠다. flume.apache.org에서 apache-flume-1.8.0-bin.tar.gz를 다운받아 윈도우에서 테스트 해봄 공식사이트 User Guide에 따라 그냥 테스트해 봄 window용 wget사용해서 다운로드 먼저 설치, 압축해제를 위해 7Zip path도 설정해야함. 물론 그냥 다운로드하고,압출프로그램에서 풀어도 된다.ㅎㅎ netcat source도 테..

https://eternallybored.org/misc/wget/ 다운받아 C:\Windows\System32에 복사한다.

Sqoop 5 Minutes Demo를 참고하여 oracle etl 테스트를 해보았다. link를 생성, job을 생성할때 from link, to link 지정, job을 기술한다. 테스트할 ETL UseCase는 oracle db의 테스트용 임시 데이터를 생성하고, 이 데이터를 sqoop job을 통해 hdfs에 저장한다. SQOOP_SERVER_EXTRA_LIB에 oracle jdbc driver가 설치되어 있어야 한다. link생성시 비밀번호에 특수문자가 포함되어 있으니 안된다..shell에서만 안되는 것일까? oracle-jdbc-connector를 썼더니,mapper에서 oralce.jdbc.OracleDriver를 load하지 못하였다. sqoop2는 서버기반이라 서버쪽에만 jdbc driv..

설치 및 테스트는 oracle2hdfs를 테스트하기 위해서 2016년에 실시해 봤다. 머리속에 기록이 안되는 관계로 매뉴얼에 따라 정리한다. 아키텍쳐는 아래와 같다. https://blogs.apache.org/sqoop/mediaresource/a04e8f6f-4d1e-4ee9-b726-af4e078599cf [root@big-master ~]# adduser sqoop2 ; echo 'sqoop2' | passwd --stdin sqoop2 ; usermod -G datagroup sqoop2 Changing password for user sqoop2. passwd: all authentication tokens updated successfully. [root@big-master ~]# cd /u..

RHEL7부터 커널버전이 3.X로 바뀌었다더니만, 전통적인 방법으로 SysV... /etc/rc.d/init.d에 스크립트를 작성하고 chkconfig,service로 제어하던 것만 기억하고 있는데, centos 7은 다르구만. 세상이 달라졌네..언제부터 달라진건지 원ㅎㅎ 서비스데몬의 자동시작 스크립트는 필수적이니 정리해 보자. 아래는 systemclt 명령중 자주 쓰는 옵션(?)이다. 참고 https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/7/html/system_administrators_guide/sect-managing_services_with_systemd-unit_files https://potatogim.net/wi..