DBILITY

sqoop shell에서 생성한 job을 메뉴얼을 참고하여 java api로 실행해 보았다. uber-jar로 packaging해서 실행. package com.dbility.bigdata.sqoop.oracle2hdfs; import java.util.List; import org.apache.sqoop.client.SqoopClient; import org.apache.sqoop.model.MJob; import org.apache.sqoop.model.MLink; import org.apache.sqoop.model.MSubmission; import org.slf4j.Logger; import org.slf4j.LoggerFactory; /** * * Description * * * @author..

최소 XP부터 지원이 되어야 할것 같다. 일단 kafka가 없다는 가정하에 시작해 보자. 실은 아직 kafka를 테스트 하지 못했다. Syslog는 Syslog damon에서 보내줘야하니 패스하자. 몇시간 apache http server access log를 source로 logger sink를 돌려보니 properties변경도 체크를 한다. logger sink는 max 16byte만 출력을 하니, custom sink가 필요할 듯 (매뉴얼참고) standalone port monitoring tool이나 logger view도 custom source,channel,sink를 만들면 쓸만하것다. 목수에게 새망치가 생기면, 튀어나온 모든 것이 못으로 보인다더니만ㅎㅎ 이거 이전에 만든 batch프로그램..

XP client에 테스트하려 이전에 java app실행용 bat를 좀 수정했다. 대단한 것은 없고, dos batch 전문가는 아니라 경로나 파일 확인등은 거의 없다. DosTips를 참고하면 좋다. 주로 window client에서 실행되는 경우 서비스로 등록해서 사용해야한다. 등록스크립트도 bat로 만들어야겠다.필요시 installer를 innosetup으로 제작하면 되겠다. 물론 사용자에 따라서 새빨간~이 아닌 시커먼 화면을 즐기시는 분들이 있으니,모니터링 콘솔도 띄워줘야 하고.. 기록을 먼저 하고 테스트하면서 JAVA_OPTION을 변경해야 겠다. @ECHO OFF @TITLE=Flume Agent Test @REM MODE CON:COLS=140 LINES=2500 PUSHD %~dp0 SET..

flume은 Source, Channel, Sink로 구성되며, Source는 데이터를 수집, Channel은 sink로 넘기기전 저장하는 버퍼(?), Sink는 Channel의 데이터를 저장하는 역할이다. Sink가 다른 Source를 향할 수 있다.최종적으론 stream을 처리하는 특정 포트(?)로 전송하거나 hdfs에 저장하는데 사용하겠다. flume.apache.org에서 apache-flume-1.8.0-bin.tar.gz를 다운받아 윈도우에서 테스트 해봄 공식사이트 User Guide에 따라 그냥 테스트해 봄 window용 wget사용해서 다운로드 먼저 설치, 압축해제를 위해 7Zip path도 설정해야함. 물론 그냥 다운로드하고,압출프로그램에서 풀어도 된다.ㅎㅎ netcat source도 테..

Sqoop 5 Minutes Demo를 참고하여 oracle etl 테스트를 해보았다. link를 생성, job을 생성할때 from link, to link 지정, job을 기술한다. 테스트할 ETL UseCase는 oracle db의 테스트용 임시 데이터를 생성하고, 이 데이터를 sqoop job을 통해 hdfs에 저장한다. SQOOP_SERVER_EXTRA_LIB에 oracle jdbc driver가 설치되어 있어야 한다. link생성시 비밀번호에 특수문자가 포함되어 있으니 안된다..shell에서만 안되는 것일까? oracle-jdbc-connector를 썼더니,mapper에서 oralce.jdbc.OracleDriver를 load하지 못하였다. sqoop2는 서버기반이라 서버쪽에만 jdbc driv..