DBILITY

정규화란 1970년 E.F CODE박사에 의해 제안(1NF). 현실 세계에서 발생하는 데이터를 수학적인 방법으로 구조화시켜 체계적으로 관리할 수 있게 한다. 위키참조정규화 필요성 가. 엔티티를 구성하는 속성간의 중복을 제거하여 데이터베이스를 최적화 나. 속성간의 함수적 종속성에 의해 발생하는 이상현상을 제거 이상현상 내용 입력이상 데이터 입력 시 필요없는 속성까지 입력해야 하는 현상 수정이상 데이터 수정 시 원하지 않는 데이터까지 수정되는 현상 삭제이상 데이터 삭제 시 필요한 데이터까지 삭제되는 현상, 수정에 의해 삭제처리하는 등 정규화 종류 정규화 종류 내용 함수적종속성 1차 정규화 모든 속성은 원자값을 가져야 한다.복수의 속성값을 갖는 속성을 엔티티로 분리.이름속성제외 2차 정규화 주식별자에 종속적이..

https://www.khanacademy.org/math/linear-algebra

윈도 환경 eclipse에서 테스트했는데, 결과 파일 맨 앞이 이상하다.. 왜일까? 책 없이 타이핑(?)했다는데 만족해야 하나보다^^; MRUnit으로 테스트를 해봐야겠군... 기억이 안나지만... package com.dbility.hadoop.execise; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.conf.Configured; import org.apache.hadoop.fs.FSDataOutputStream; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.LocalFileSystem; imp..

연습 삼아 그냥 해 봤다. 부분 정렬을 위해 맵 파일을 사용한다고 책에서 본걸 그냥 해봤는데 의외로 잘 돌아가다니..ㅋㅋ 다음 주까지 사용자 정의 정렬인 보조 정렬과 파일 포맷 변환하는 걸 다섯 번씩만 작성해 봐야겠다. 머리가 나쁘니까... mapred package로 통일하였고,검색은 구현되어 있지 않다. 생각이 안나니까.. 윈도 환경 eclipse에서만 테스트되었습니다. package com.dbility.hadoop.execise; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.conf.Configured; import org.apache.hadoop.fs.FileSyst..

아무 이유 없이 그냥 한번 해봤다. 윈도 환경이라 압축코덱을 설정하기 어려워 DefaultCodec은 사용이 되길래 사용하였고, eclipse에서 테스트되었습니다. Txt2SequenceFileConverter는 csv형태의 Text파일을 Mapper를 통해 SequenceFile로 변환 후 저장하고, SequenceFileRead는 SequenceFIle경로를 읽어 각 파일의 압축 정보를 출력하고, 데이터는 한 라인만 출력. 결과에 CompressorType을 보니 BuiltInZlibDeflater네요. zlib를 사용하나 보네요. 분명 native-zlib library 로딩이 안된다고 나왔는데... 누군가에겐 당연한 얘기겠지만, CompressionType에 따라 헤더가 달라지나 봅니다. Enum..