DBILITY

sqoop shell에서 생성한 job을 메뉴얼을 참고하여 java api로 실행해 보았다. uber-jar로 packaging해서 실행. package com.dbility.bigdata.sqoop.oracle2hdfs; import java.util.List; import org.apache.sqoop.client.SqoopClient; import org.apache.sqoop.model.MJob; import org.apache.sqoop.model.MLink; import org.apache.sqoop.model.MSubmission; import org.slf4j.Logger; import org.slf4j.LoggerFactory; /** * * Description * * * @author..

https://maven.apache.org/plugins/maven-shade-plugin/examples/includes-excludes.html POM예시 ... maven-shade-plugin 3.1.1 package shade false *:* META-INF/*.SF META-INF/*.DSA META-INF/*.RSA ... minimizeJar가 true일 경우 java code나 dependancy에 dynamic class loading이 사용되면 전부 일일이 포함시켜야 하니, 용량에 신경쓸 일 없다면 그냥 false로 사용이라고 함. uber-jar 또는 fat-jar라고도 함

최소 XP부터 지원이 되어야 할것 같다. 일단 kafka가 없다는 가정하에 시작해 보자. 실은 아직 kafka를 테스트 하지 못했다. Syslog는 Syslog damon에서 보내줘야하니 패스하자. 몇시간 apache http server access log를 source로 logger sink를 돌려보니 properties변경도 체크를 한다. logger sink는 max 16byte만 출력을 하니, custom sink가 필요할 듯 (매뉴얼참고) standalone port monitoring tool이나 logger view도 custom source,channel,sink를 만들면 쓸만하것다. 목수에게 새망치가 생기면, 튀어나온 모든 것이 못으로 보인다더니만ㅎㅎ 이거 이전에 만든 batch프로그램..

window에 tail이 필요할때.. https://www.microsoft.com/en-us/download/confirmation.aspx?id=17657 압축을 풀어 windows\system32에 복사하면 unix처럼 tail명령을 쓸 수 있다.

send and receive UDP, TCP, and SSL on the ports of your choosing. All servers and clients may run simultaneously. https://packetsender.com/download