DBILITY

저장된 파일의 내용을 읽어 공백문자를 기준으로 자른 후, 빈도수가 가장 큰 단어를 출력하도록 해 보았다. 2년전에 mapreduce wordcount를 만들어 본게 많은 도움이 된다. 신문기사 링크 http://v.media.daum.net/v/20180604182613539?rcmd=rn 발췌한 내용은 아래와 같다. 염증 예방을 돕는 식품은? 우선 항산화 효과와 항암 효과가 탁월해 세계 10대 슈퍼푸드로 선정된 식품 중 귀리, 블루베리, 녹차, 마늘, 토마토, 브로콜리, 아몬드, 시금치 등은 항염 효과 역시 상당한 것으로 알려진다. 귀리의 불포화지방산과 베타글루칸, 블루베리의 안토시아닌과 로돕신, 녹차의 카테킨, 마늘의 알리신, 토마토의 라이코펜과 루틴, 브로콜리의 비타민 C와 설포라판, 아몬드의 비타..

자바에 제너릭 타입(Generic Type)이 추가 된지도 15년이 되었다.맞나?ㅎㅎjava 8의 collection,lambda,stream,NIO 사용하려면 제너릭타입의 이해 없이는 거의 불가하다고 보는게 좋겠다.제너릭 타입의 사용으로 컴파일타임에 강한 타입체크를 할 수 있다.런타임시 오류보다 훨씬 낫다.나도 이전엔 별다른 생각없이 강제 type casting을 사용했었다. 지금도 습관적으로 그렇게 하고 있다.제너릭은 강한 type checking이 이루어지다 보니 당연하게도 불필요한 type casting,auto boxing,auto unboxing이 제거(?)된다.사람이 하는 일이건 프로그램이 하는 일이건 간에 절차가 간소화 된다는 건 빠른 업무의 종료를 뜻한다.상식이다. 상식을 전혀 느끼지 못..

현재까지 조금 해봤는데,결국은 함수형 인터페이스가 핵심인가 보다. 단말연산이 시작되어야 중간연산이 실행된다. Spark의 lazy evaluation과 같다. 중간연산의 연결들이 종료되어야 단말연산이 시작되는 수평적인 연산이 아닌 원소마다 연결해서 실행하는 수직적 연산이 실행된다. 말이 어렵다. package com.dbility.bigdata.lambda.test; import java.util.ArrayList; public class Test04 { public static void main(String[] args) { Test04 T = new Test04(); ArrayList books = new ArrayList(); books.add(T.new Book("ElasticSearch In A..

java8에 추가된 stream을 이용해 보자. MapReduce에선 mapper에서 한줄씩 읽어 조건에 맞는 데이터 처리등 transform을 하고 한줄씩 쓰고, reducer에서 key를 기준으로 reduction,aggregation 즉 집계처리할 수 있는데, 2년전에 해본거라 기억이 가물거리지만ㅎㅎ stream을 이용하면 map,reduce가 가능하다. 마치 method chain(?)처럼 동작한다. stream은 일종의 데이터의 순열정도라고 본다.nPr? 아니다. 그냥 순서가 있는 원소의 집합이라고 해야 할까... 아래 코드는 1~10까지의 정수형 배열의 요소의 합계를 계산하는 것이다. 기록하고 몇번이건 봐야 기억할 수 있다.피곤하다. package com.dbility.bigdata.lambd..

자바는 매개변수로 인스턴스만 전달 가능했다. 첫번째 쓰레드를 보면 run 메서드만 실행하려 해도 방법이 없으므로, Runnable객체를 생성해서 전달한다. 람다식은 함수를 매개변수로 넘길 수 있도록, 인터페이스 중 단 하나의 메서드만 존재하는 함수형 인터페이스 (@FunctionalInterface)를 준비 익명메서드로 전환한다. 자바 람다는 핵심적인 3개의 부분으로 구성 ( "함수의 인자"->"함수의 내부 구현코드" ) 괄호 안의 매개 변수 집합, 화살표. 그리고, 하나의 표현식이거나 코드 블록이 될 수 있는 바디 ※ 매개변수는 타입을 명시하지 않을 경우 타입을 추론한다. Interface가 하나만 존재해야 하는 이유이기도 하나보다. 람다식 형태 ( parameters ) -> expression bo..