| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | |||||
| 3 | 4 | 5 | 6 | 7 | 8 | 9 |
| 10 | 11 | 12 | 13 | 14 | 15 | 16 |
| 17 | 18 | 19 | 20 | 21 | 22 | 23 |
| 24 | 25 | 26 | 27 | 28 | 29 | 30 |
- Kotlin
- GIT
- hadoop
- mybatis
- SQL
- 보조정렬
- Java
- IntelliJ
- Sqoop
- xPlatform
- R
- vaadin
- tomcat
- Python
- react
- 공정능력
- NPM
- mapreduce
- plugin
- Spring
- SSL
- SPC
- es6
- Android
- table
- Eclipse
- Express
- MSSQL
- JavaScript
- window
- Today
- Total
목록bigdata/hadoop (42)
DBILITY
아래 매뉴얼과 [시작하세요! 하둡프로그래밍 - 정재화지음] 책을 참고하여 열심히 해보자. 사내 또는 사설 mvn repository가 있다면 pom에 추가하면, 빌드시간이 좀 줄어든다. https://zookeeper.apache.org/doc/r3.4.11/zookeeperStarted.html#sc_RunningReplicatedZooKeeper https://zookeeper.apache.org/doc/r3.4.11/zookeeperAdmin.html#sc_advancedConfiguration http://hadoop.apache.org/docs/r2.7.5/hadoop-project-dist/hadoop-common/SingleCluster.html#Setup_passphraseless_ssh ..
Job fail일 발생했다. AM이 죽었다는건가? 안되는 영어독해를 해보니 물리메모리 제한을 넘어서 실행을 했다고? reduce시작하고 저러는 걸 보니 그쪽문제인가.. container physical memory check를 비활성화하고 해봤다. 그래도 죽는다.. 연습도 할겸 며칠 후 2.7.6으로 재설치를 했다. 테스트 당시는 2.7.5였다. 뭥미 container physical memory check나 기타 한게 없다....정상이다.. jdk1.8때문이라는 내용도 있다.상세한 설명이 없지만.. 18/04/14 17:41:07 INFO mapreduce.Job: Task Id : attempt_1523694716869_0001_r_000000_0, Status : FAILED Container [p..
선행설치 되어야 할 것 1.Java 1.7 or higher 2.Maven 3.3 or higher 3.Protocol buffer 2.5.0 [hadoop@big-master ~]$wget http://apache.tt.co.kr/hadoop/common/hadoop-2.7.5/hadoop-2.7.5-src.tar.gz [hadoop@big-master ~]$tar -zxvpf hadoop-2.7.5-src.tar.gz [hadoop@big-master hadoop-2.7.5-src]$mvn clean package -Pdist,native -DskipTests -Dtar -Dmaven.javadoc.skip=true ~한참 열심히 일하는 콤푸타를 구경 함~ [INFO] Executing tasks m..
순차적으로 실행 JobConf job1=new JobConf(getConf()); ... JobClient.run(job1); JobConf job2=new JobConf(getConf()); ... JobClient.run(job2); JobConf job3=new JobConf(getConf()); ... JobClient.run(job3); 의존관계의 연결 JobConf job1=new JobConf(getConf()); ... JobConf job2=new JobConf(getConf()); ... JobConf job3=new JobConf(getConf()); ... JobConf job4=new JobConf(getConf()); ... JobControl con=new JobControl(..
hadoop 2.6.4 binary 다운로드 http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.6.4/hadoop-2.6.4.tar.gz winutils 다운로드 https://github.com/steveloughran/winutils eclipse hadoop 2.x plugin 다운로드 https://github.com/winghc/hadoop2x-eclipse-plugin eclipse > dorpins에 hadoop-eclipse-plugin-2.6.0.jar 복사 HADOOP_HOME 환경변수 설정 ( E:/hadoop-2.6.4 ) hadoop-2.6.4.tar.gz 압축해제 후 %HADOOP_HOME% 에 복사 winutils-mas..