반응형

목록분류 전체보기 (655)

DBILITY

flume hadoop 연동 테스트 소스 데이터 생성

hadoop cluster에 avro sink를 통해 저장하는 걸 가상으로 테스트해보고 싶은데, 그렇다고 능력은 안되고, flume-ng-core 소스중 org.apache.flume.source.SequenceGeneratorSource.java를 살짝 바꿨다. PollableSourceRunner를 보니 getMaxBackOffSleepInterval만큼 Tread를 sleep상태로 둔다.기본 5000ms 이것 저거 바꿔볼 몸 상태가 아니다.목,어깨,손이 아프다. build후엔 flume directory에 lib 또는 plugin.d/plugin명/lib 넣으면 된다.안되면 말고~ pom.xml 4.0.0 com.dbility.bigdata.flume.source flume-source-genera..
bigdata/flume 2018. 5. 3. 19:30
Bash 스크립팅 가이드

https://blog.gaerae.com/2015/01/bash-hello-world.html https://wiki.kldp.org/HOWTO/html/Adv-Bash-Scr-HOWTO/
reference 2018. 5. 2. 08:40
sqoop2 etl hdfs to oracle

staging에서 target table로는 프로세스가 하나만 도는가 보다. extracter는 mapper, loader가 0이 아닌경우 reduce task도 실행이 되네. extracter 8, loader 0일때가 extractor 4, loader 4보다 빠르네. 아마도 loader를 설정하면 reduce task로 sort,shuffle하는 시간이 많이 걸리나 보다. 거기다 heap oom이 발생하기도 한다. 메모리를 늘려야겠다.... 테스트환경마다 다르겠지. oracle parallel load랑 비교해 봐야겠다. bulk load형태로 rdb table의 storage param중 logging을 off하고 해보는것도 좋겠다. 약 700M 크기의 csv 파일을 로드하는데 paritioner..
bigdata/sqoop 2018. 5. 1. 20:54
sqoop2 etl java API 테스트

sqoop shell에서 생성한 job을 메뉴얼을 참고하여 java api로 실행해 보았다. uber-jar로 packaging해서 실행. package com.dbility.bigdata.sqoop.oracle2hdfs; import java.util.List; import org.apache.sqoop.client.SqoopClient; import org.apache.sqoop.model.MJob; import org.apache.sqoop.model.MLink; import org.apache.sqoop.model.MSubmission; import org.slf4j.Logger; import org.slf4j.LoggerFactory; /** * * Description * * * @author..
bigdata/sqoop 2018. 4. 30. 20:00
maven uber-jar packaging

https://maven.apache.org/plugins/maven-shade-plugin/examples/includes-excludes.html POM예시 ... maven-shade-plugin 3.1.1 package shade false *:* META-INF/*.SF META-INF/*.DSA META-INF/*.RSA ... minimizeJar가 true일 경우 java code나 dependancy에 dynamic class loading이 사용되면 전부 일일이 포함시켜야 하니, 용량에 신경쓸 일 없다면 그냥 false로 사용이라고 함. uber-jar 또는 fat-jar라고도 함
java/basic 2018. 4. 30. 19:30
Prev 1 ··· 87 88 89 90 91 92 93 ··· 131 Next
반응형