DBILITY

항공지연통계 보조정렬+다중출력 적용 실습을 그냥 해 보았습니다. package com.dbility.hadoop.sort.secondary; import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.conf.Configured; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.LocalFileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.fs.perm..

ASA운항기록 데이터(약 12G) 대상으로,보조정렬을 실습해 보았습니다. 지연도착시간을 30분/1시간 이내,1시간이상으로 구분하였으며,파일레이아웃은 [ 연 / 월 / 구분 / 횟수 ]형태로 출력됩니다. pom.xml 4.0.0 com.dbility.hadoop asa-analysis 1.0.0 1.7 hadoop hadoop big-master /home/hadoop org.apache.hadoop hadoop-core 1.2.1 provided org.slf4j slf4j-api 1.7.20 provided org.slf4j jcl-over-slf4j 1.7.20 provided org.slf4j log4j-over-slf4j 1.7.20 provided ch.qos.logback logback-cla..

사용자 정의 컴포넌트에서 컴포넌트가 배치된 부모 폼의 함수를 찾아 실행하는 예제 일부 한 2년전쯤 다른 프로젝트에서 썼던 것 같은데, 간단한 게 기억나지 않으니 기록할 수 밖에... var fn = this.getOwnerFrame().form["lf_search"]; if ( fn != undefined && typeof(fn) == "function") { fn.call(this.getOwnerFrame().form); }

HDFS └ INPUTFORMAT └ SPLITS └ RECORDREADER └ MAP └ COMBINER └ PARTITIONER └ SHUFFLE & SORT └ REDUCE └ RECORDWRITER └ OUTPUTFORMAT 맵리듀스(MapReduce)는 기본적으로 입력 데이터의 Key를 기준으로 정렬한다. 네트워크를 통한 Shuffle 과정을 통해 Mapper의 출력 데이터를 key로 정렬하면서 동일 key를 갖는 value들끼리 묶는다. 이때 정렬 알고리즘을 적용할 수 있습니다. 보조정렬 ( Secondary Sort ) 키의 값들을 그룹핑하고, 그룹핑된 레코드에 순서를 부여하는 방식 ① WritableComparable Interface를 구현한 복합 키(Composite Key)를 정의, ..

특정 tablespace만 export exp 사용자/비밀번호@SID file=파일이름.dmp tablespaces=테이블스페이스명 exp system/비밀번호@oraone file=users.dmp tablespaces=USERS​ 특정 table만 다른 스키마에 import imp 사용자/비밀번호@SID file=파일이름.dmp fromuser=테이블소유자(스키마) touser=대상소유자(스키마) tables=(테이블1,테이블2,테이블N) imp system/비밀번호@oraone file=users.dmp fromuser=scott touser=ktgs tables=(emp,dept,salgrade)​ INSERT INTO 복구대상유저.복구대상테이블 SELECT * FROM 백업유저.백업테이블 WHE..