| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | |||||
| 3 | 4 | 5 | 6 | 7 | 8 | 9 |
| 10 | 11 | 12 | 13 | 14 | 15 | 16 |
| 17 | 18 | 19 | 20 | 21 | 22 | 23 |
| 24 | 25 | 26 | 27 | 28 | 29 | 30 |
- Spring
- window
- JavaScript
- Sqoop
- R
- IntelliJ
- react
- tomcat
- table
- MSSQL
- SQL
- vaadin
- mapreduce
- Java
- xPlatform
- Kotlin
- Express
- SSL
- mybatis
- NPM
- Eclipse
- 공정능력
- hadoop
- SPC
- Android
- Python
- 보조정렬
- GIT
- plugin
- es6
- Today
- Total
목록bigdata (67)
DBILITY
설치 후 Tajo와 MapReduce 비교 테스트
메모리 제약때문에 TajoWoker가 실행이 안되어 MIN-HEAP을 1000M로 설정하였다. 미국 상업항공편 운항통계정보 중 2008년도 운항기록으로 테스트를 진행하였으며, 월별 지연도착 항공편 수를 계산해 보았다. 서버사양,설정,MapReduce1프로그램의 성능(오래전에 만든건데 sortComparer적용,combiner 미적용인듯)에 따라 다르겠지만,테스트 시스템에선 10배 차이가 난다. worker 2대일때 Tajo 6초대 MapReduce1 63초 worker 4대일때 Tajo 거의3초대 MapReduce1 60~65초 정말 노드를 늘리면 선형적으로 성능이 증가한다고 하던데... tajo Worker heap만 기본 5000M으로 늘려서 그러나.. mapreduce쪽은 parameter(?) 튜..
hadoop이 먼저 설치되어 있어야 한다. tajo는 SQL On Hadoop이니까! http://www.dbility.com/247 [root@big-master ~]# adduser tajo; echo 'tajo' | passwd --stdin tajo; usermod -G datagroup tajo Changing password for user tajo. passwd: all authentication tokens updated successfully. [root@big-master ~]# ssh big-slave1 "adduser tajo; echo 'tajo' | passwd --stdin tajo; usermod -G datagroup tajo" Changing password for use..
선행설치 되어야 할 것 1.Java 1.7 or higher 2.Maven 3.3 or higher 3.Protocol buffer 2.5.0 [hadoop@big-master ~]$wget http://apache.tt.co.kr/hadoop/common/hadoop-2.7.5/hadoop-2.7.5-src.tar.gz [hadoop@big-master ~]$tar -zxvpf hadoop-2.7.5-src.tar.gz [hadoop@big-master hadoop-2.7.5-src]$mvn clean package -Pdist,native -DskipTests -Dtar -Dmaven.javadoc.skip=true ~한참 열심히 일하는 콤푸타를 구경 함~ [INFO] Executing tasks m..
순차적으로 실행 JobConf job1=new JobConf(getConf()); ... JobClient.run(job1); JobConf job2=new JobConf(getConf()); ... JobClient.run(job2); JobConf job3=new JobConf(getConf()); ... JobClient.run(job3); 의존관계의 연결 JobConf job1=new JobConf(getConf()); ... JobConf job2=new JobConf(getConf()); ... JobConf job3=new JobConf(getConf()); ... JobConf job4=new JobConf(getConf()); ... JobControl con=new JobControl(..
hadoop 2.6.4 binary 다운로드 http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.6.4/hadoop-2.6.4.tar.gz winutils 다운로드 https://github.com/steveloughran/winutils eclipse hadoop 2.x plugin 다운로드 https://github.com/winghc/hadoop2x-eclipse-plugin eclipse > dorpins에 hadoop-eclipse-plugin-2.6.0.jar 복사 HADOOP_HOME 환경변수 설정 ( E:/hadoop-2.6.4 ) hadoop-2.6.4.tar.gz 압축해제 후 %HADOOP_HOME% 에 복사 winutils-mas..