일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |
- JavaScript
- SQL
- xPlatform
- Kotlin
- GIT
- IntelliJ
- vaadin
- hadoop
- Java
- 보조정렬
- tomcat
- table
- Python
- 공정능력
- R
- Android
- MSSQL
- window
- SSL
- Sqoop
- mybatis
- NPM
- mapreduce
- es6
- Express
- Eclipse
- plugin
- SPC
- Spring
- react
- Today
- Total
목록전체 글 (649)
DBILITY
HDFS └ INPUTFORMAT └ SPLITS └ RECORDREADER └ MAP └ COMBINER └ PARTITIONER └ SHUFFLE & SORT └ REDUCE └ RECORDWRITER └ OUTPUTFORMAT 맵리듀스(MapReduce)는 기본적으로 입력 데이터의 Key를 기준으로 정렬한다. 네트워크를 통한 Shuffle 과정을 통해 Mapper의 출력 데이터를 key로 정렬하면서 동일 key를 갖는 value들끼리 묶는다. 이때 정렬 알고리즘을 적용할 수 있습니다. 보조정렬 ( Secondary Sort ) 키의 값들을 그룹핑하고, 그룹핑된 레코드에 순서를 부여하는 방식 ① WritableComparable Interface를 구현한 복합 키(Composite Key)를 정의, ..
특정 tablespace만 export exp 사용자/비밀번호@SID file=파일이름.dmp tablespaces=테이블스페이스명 exp system/비밀번호@oraone file=users.dmp tablespaces=USERS 특정 table만 다른 스키마에 import imp 사용자/비밀번호@SID file=파일이름.dmp fromuser=테이블소유자(스키마) touser=대상소유자(스키마) tables=(테이블1,테이블2,테이블N) imp system/비밀번호@oraone file=users.dmp fromuser=scott touser=ktgs tables=(emp,dept,salgrade) INSERT INTO 복구대상유저.복구대상테이블 SELECT * FROM 백업유저.백업테이블 WHE..
ASA운항 기록 데이터(약 12G)를 통해 궁금하기도 하고, 연습 삼아 해 보았습니다. Mapper에서 Filtering을 통해 추출하고, Combiner를 통해 Shuffle IO를 줄이도록 하였으며, Paritioner는 2개로 고정하여 2000년 이전과 이후로 분리하여 Reducer로 보내게 하였음. Reducing완료 후 FileUtil.copyMerge를 통해 파일을 합쳤습니다. 별도 정렬,조인 등은 적용되어 있지 않습니다.
version = 2.3 [hadoop@big-master ..
3개의 Partition으로 나눠 output이 3개 생성되므로, FileUtil.copyMerge를 사용해 결과를 합쳐 보았다. 물론,이게 정상적인 방법인지는 공부를 더 해봐야 확인이 가능하겠다. package com.dbility.hadoop.partitioner; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.conf.Configured; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.FileUtil; import org.apache.hadoop.fs.Path; import org.apache.ha..