반응형

목록분류 전체보기 (673)

DBILITY

maven jar build main (startup) class setting ( jar 시작클래스 지정)

hadoop command line에 main class를 지정하지 않고 실행할 수 있습니다. 물론, hadoop뿐만 아니라, executable jar에도 적용됩니다. org.apache.maven.plugins maven-jar-plugin 2.3.2 com.dbility.hadoop.multioutput.AsaDelayDriver default-jar package jar
java/basic 2016. 11. 12. 14:32
output Key,Value Class 미지정시 오류

java.io.IOException: Type mismatch in key from map: expected org.apache.hadoop.io.LongWritable, recieved org.apache.hadoop.io.Text위와 같은 오류는 job에 output key와 value의 class 를 미지정시 발생하는 오류로TextOutputFormat사용시 LongWritable Type Key와 Text Type Value가 default입니다.
bigdata/hadoop 2016. 11. 11. 16:35
hadoop WordCount GenericOptionParser 적용 예제

pom.xml 4.0.0 com.dbility.hadoop wordcount 1.0.0 org.apache.hadoop hadoop-core 1.2.1 provided org.slf4j slf4j-api 1.7.20 provided org.slf4j jcl-over-slf4j 1.7.20 provided ch.qos.logback logback-classic 1.1.7 provided ch.qos.logback logback-access 1.1.7 provided logback.xml %d{HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n WindowsLocalFileSystem.java package com.dbility.hadoop.utils; impor..
bigdata/hadoop 2016. 11. 6. 14:10
svn admin command (명령)

백업 svnadmin dump project -r 518 > project.dump svnadmin dump project -r head > project.dump svnadmin dump -r 518:head > project.dump svnadmin dump -r{2016-11-01}:head > prject.dump 복원 svnadmin load prject
java/basic 2016. 11. 2. 10:16
svn import할때 불필요한 resource 제거

eclipse menu -> Windows -> Preferences -> Team -> Ignored Resources -> Add Pattern 선택 후 필요한 패턴을 추가합니다. 참고로 release부터 publish까지는 visual studio, __history부터는 delphi용입니다. 패턴 예시 .classpath .settings .springBeans */src/test/** */target/**.project.tern-projectreleaseReleasedebugDebugbinBinObj *.csproj.user *.user packages .vspublish*.bak*.rdf__history__recoveryWin32Win64AndroidiOS.dsk.identcache.stat...
eclipse 2016. 10. 28. 23:01
Prev 1 ··· 115 116 117 118 119 120 121 ··· 135 Next
반응형