DBILITY

현재까지 조금 해봤는데,결국은 함수형 인터페이스가 핵심인가 보다. 단말연산이 시작되어야 중간연산이 실행된다. Spark의 lazy evaluation과 같다. 중간연산의 연결들이 종료되어야 단말연산이 시작되는 수평적인 연산이 아닌 원소마다 연결해서 실행하는 수직적 연산이 실행된다. 말이 어렵다. package com.dbility.bigdata.lambda.test; import java.util.ArrayList; public class Test04 { public static void main(String[] args) { Test04 T = new Test04(); ArrayList books = new ArrayList(); books.add(T.new Book("ElasticSearch In A..

java8에 추가된 stream을 이용해 보자. MapReduce에선 mapper에서 한줄씩 읽어 조건에 맞는 데이터 처리등 transform을 하고 한줄씩 쓰고, reducer에서 key를 기준으로 reduction,aggregation 즉 집계처리할 수 있는데, 2년전에 해본거라 기억이 가물거리지만ㅎㅎ stream을 이용하면 map,reduce가 가능하다. 마치 method chain(?)처럼 동작한다. stream은 일종의 데이터의 순열정도라고 본다.nPr? 아니다. 그냥 순서가 있는 원소의 집합이라고 해야 할까... 아래 코드는 1~10까지의 정수형 배열의 요소의 합계를 계산하는 것이다. 기록하고 몇번이건 봐야 기억할 수 있다.피곤하다. package com.dbility.bigdata.lambd..

자바는 매개변수로 인스턴스만 전달 가능했다. 첫번째 쓰레드를 보면 run 메서드만 실행하려 해도 방법이 없으므로, Runnable객체를 생성해서 전달한다. 람다식은 함수를 매개변수로 넘길 수 있도록, 인터페이스 중 단 하나의 메서드만 존재하는 함수형 인터페이스 (@FunctionalInterface)를 준비 익명메서드로 전환한다. 자바 람다는 핵심적인 3개의 부분으로 구성 ( "함수의 인자"->"함수의 내부 구현코드" ) 괄호 안의 매개 변수 집합, 화살표. 그리고, 하나의 표현식이거나 코드 블록이 될 수 있는 바디 ※ 매개변수는 타입을 명시하지 않을 경우 타입을 추론한다. Interface가 하나만 존재해야 하는 이유이기도 하나보다. 람다식 형태 ( parameters ) -> expression bo..

테스트용 서버 5대를 한꺼번에 명령을 입력할 수는 없다...힘들다... Shell Programming을 잘 하진 못하니 이것만도 어딘가. 스크립트를 실행할 호스트의 root ssh인증키로 관리할 서버에 비밀번호없이 접근가능하게 되어 있어야 한다. 이미 시작되어 있는 경우등을 체크해야 하겠지만 능력없다. 동일서버에 있는 서비스는 한꺼번에 적용 가능하다. 기록만이 살길이다 system 전체 #!/bin/bash enable() { systemctl daemon-reload systemctl enable zookeeper systemctl enable hadoop systemctl enable tajo systemctl enable sqoop ssh big-slave2 "systemctl enable mar..

Apache SSHD is a 100% pure java library to support the SSH protocols on both the client and server side.