DBILITY

보조 정렬을 테스트할 때 느낀 거지만, 데이터 분포가 고른 상태가 아니라면 하나의 리듀스 테스트에 집중이 될 텐데, 그럴 경우 개발자가 알아서 분할 가능하도록 파티셔닝을 해야 하는 등 RDBMS와 마찬가지로 데이터의 저장부터 관리, 개발자의 역량에 따라 성능이 좌우되지 않을지 생각했는데 친절하게 준비가 되어 있었다. 머리가 나쁜지 습득하는데, 시간이 오래 걸린다. 어쩌면 원래 공부하는 스타일의 차이일까.. 소설은 한번 잡고 이틀은 볼 수 있는데ㅎㅎ 맵리듀스는 입력 데이터의 키를 기준으로 정렬하기 때문에 하나의 파티션으로 손쉽게 정렬된다. 기본 알고리즘이 퀵 소트였던 것 같다. 데이터가 방대할 때 분산처리가 이루어져야 하는데 한 개의 리듀스 태스크만 사용할 경우 부하가 집중된다. 전체 정렬 순서 1. 입력..

일주일에 한 번은 해봐야 잊지 않을 거라는 근거 없는 믿음에 해본다. 삶의 절반 이전에나 봤던 수학도 해야 하고 참 어렵다. 윈도 환경 eclipse에서 테스트한 것이라 reducer는 하나다. package com.dbility.hadoop.execise; import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.conf.Configured; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.FileUtil; import ..

빅데이터 시대, 기초정도는 알고 가야하지 않을까... 연세대학교 양학승 교수님의 강의http://cafe.naver.com/yonseiyanglab

공정능력,검사관련 프로젝트에 들어갈때 아는게 일천하여 조사하고 정리한 것이다. 작은 도움이라도 되시길~ 공정능력 ( Process Capability ) 공정이 최상,즉 관리상태에 있을때 각 제품의 변동이 어느 정도인가를 표시하는 양 자연공차(Natural Tolerance)라는 용어를 사용하고 대개 6σ를 사용 잠재적 공정능력지수 ( Cp,Potential Capability Index ) 동일한 일을 반복할 수 있는 공정의 잠재능력으로 공정이 관리되고 있을때 생산되는 제품의 품질변동을 나타내는 양 공정너비에 대한 공차의 너비의 비로 크면 클수록 좋다. x̄ 평균 ( Mean ) S 표준편차 ( Standard Deviation ) - Sigma R 범위 ( Range = Max - Min ) M 중앙..

Control Chart Description x̄ - R 생산량이 많으며 부분군의 개수가 2~5개로 공정평균과 변동을 평가 x̄ - S 부분군의 개수가 6이상 I(X) - MR 부분군의 개수가 1 또는 생산량이 적거나, 제품의 제조주기가 길때 x̄ 평균 ( Mean ) - 관리도에선 편차(절대값)의 평균 = 평균편차 S 표준편차 ( Standard Deviation ) - Sigma R 범위 ( Range = Max - Min ) M 중앙값 ( Median ) UCL 관리상한선 ( Upper Control Line = +3σ) LCL 관리하한선 ( Lower Control Line -3σ) CL 중심선 ( Center Line = x̄) USL 규격상한 ( Upper Specification Limit..