반응형

목록전체 글 (649)

DBILITY

Bash 스크립팅 가이드

https://blog.gaerae.com/2015/01/bash-hello-world.html https://wiki.kldp.org/HOWTO/html/Adv-Bash-Scr-HOWTO/
reference 2018. 5. 2. 08:40
sqoop2 etl hdfs to oracle

staging에서 target table로는 프로세스가 하나만 도는가 보다. extracter는 mapper, loader가 0이 아닌경우 reduce task도 실행이 되네. extracter 8, loader 0일때가 extractor 4, loader 4보다 빠르네. 아마도 loader를 설정하면 reduce task로 sort,shuffle하는 시간이 많이 걸리나 보다. 거기다 heap oom이 발생하기도 한다. 메모리를 늘려야겠다.... 테스트환경마다 다르겠지. oracle parallel load랑 비교해 봐야겠다. bulk load형태로 rdb table의 storage param중 logging을 off하고 해보는것도 좋겠다. 약 700M 크기의 csv 파일을 로드하는데 paritioner..
bigdata/sqoop 2018. 5. 1. 20:54
sqoop2 etl java API 테스트

sqoop shell에서 생성한 job을 메뉴얼을 참고하여 java api로 실행해 보았다. uber-jar로 packaging해서 실행. package com.dbility.bigdata.sqoop.oracle2hdfs; import java.util.List; import org.apache.sqoop.client.SqoopClient; import org.apache.sqoop.model.MJob; import org.apache.sqoop.model.MLink; import org.apache.sqoop.model.MSubmission; import org.slf4j.Logger; import org.slf4j.LoggerFactory; /** * * Description * * * @author..
bigdata/sqoop 2018. 4. 30. 20:00
maven uber-jar packaging

https://maven.apache.org/plugins/maven-shade-plugin/examples/includes-excludes.html POM예시 ... maven-shade-plugin 3.1.1 package shade false *:* META-INF/*.SF META-INF/*.DSA META-INF/*.RSA ... minimizeJar가 true일 경우 java code나 dependancy에 dynamic class loading이 사용되면 전부 일일이 포함시켜야 하니, 용량에 신경쓸 일 없다면 그냥 false로 사용이라고 함. uber-jar 또는 fat-jar라고도 함
java/basic 2018. 4. 30. 19:30
window에서 사용할 Flume Sources 테스트

최소 XP부터 지원이 되어야 할것 같다. 일단 kafka가 없다는 가정하에 시작해 보자. 실은 아직 kafka를 테스트 하지 못했다. Syslog는 Syslog damon에서 보내줘야하니 패스하자. 몇시간 apache http server access log를 source로 logger sink를 돌려보니 properties변경도 체크를 한다. logger sink는 max 16byte만 출력을 하니, custom sink가 필요할 듯 (매뉴얼참고) standalone port monitoring tool이나 logger view도 custom source,channel,sink를 만들면 쓸만하것다. 목수에게 새망치가 생기면, 튀어나온 모든 것이 못으로 보인다더니만ㅎㅎ 이거 이전에 만든 batch프로그램..
bigdata/flume 2018. 4. 25. 20:54
Prev 1 ··· 86 87 88 89 90 91 92 ··· 130 Next
반응형