반응형

목록2016/10/03 (5)

DBILITY

M/R 미국 상업 항공편 지연 출발 통계 그래프 작성하기

맵리듀스로 분석할 사항은 2008년도 월별 지연 출발 통계로 ASA Data expo에서 2008년 데이터를 다운로드한다. 대상 데이터 구조를 분석하기 위해 ASA Data expo '09의 Variable Descriptions확인 결과 CSV 파일의 1번 Year, 2번 Month, 16번 departure delay, in minutes임을 확인. Mapper구현 시 input value에 대해 split후 결과 배열의 1,15번 index를 사용하기로 함. 1번의 월 값을 key로 사용하고, 15번 지연시간은 value로 NA 문자열이 포함되어 있으므로, Interger convert 오류가 발생할 수 있으며, 음수가 존재함, 양수만 카운트하도록 조건 추가. 파일 사이즈 약 657M. 프로젝트 생..
bigdata/hadoop 2016. 10. 3. 21:09
hadoop ASA 미국 상업 항공편 운항 통계 데이터

미국은 참 기술과 기술자를 중요시 하는 나라라는 생각이 든다. NASA에서 공개한 기상관련 데이터도 있다. 우리나라도 하루 속히 인문주의를 바탕으로 한 기술강국이 되었으면 좋겠다. http://stat-computing.org/dataexpo/2009/ Variable descriptions Name Description 1 Year 1987-2008 2 Month 1-12 3 DayofMonth 1-31 4 DayOfWeek 1 (Monday) - 7 (Sunday) 5 DepTime actual departure time (local, hhmm) 6 CRSDepTime scheduled departure time (local, hhmm) 7 ArrTime actual arrival time (loca..
bigdata/hadoop 2016. 10. 3. 13:55
webpage capture chrome extension

너무 간편합니다~ FireShot Google Chrome Extension 설치
reference 2016. 10. 3. 13:05
maven jar packaging specific class excluding ( java 클래스 제외 )

pom.xml의 build섹션에 추가, exclude부분을 수정하고, build한다. org.apache.maven.plugins maven-jar-plugin 2.3.2 **/departureDelayRunner.class default-jar package jar
java/basic 2016. 10. 3. 10:10
hadoop Caused by: java.lang.ClassCastException: class com.sun.jersey.core.impl.provider.entity.XMLJAXBElementProvider$Text

org.apache.hadoop.io.Text가 import 되어야 하나, eclipse content assistant기능을 사용하다 보면 간혹 이런 일도 발생하더라. 02:28:22.728 [Thread-2] INFO org.apache.hadoop.mapred.LocalJobRunner - Map task executor complete. 02:28:22.731 [Thread-2] WARN org.apache.hadoop.mapred.LocalJobRunner - job_local836492892_0001 java.lang.Exception: java.lang.ClassCastException: class com.sun.jersey.core.impl.provider.entity.XMLJAXBElem..
bigdata/hadoop 2016. 10. 3. 02:33
Prev 1 Next
반응형