DBILITY

java8에 추가된 stream을 이용해 보자. MapReduce에선 mapper에서 한줄씩 읽어 조건에 맞는 데이터 처리등 transform을 하고 한줄씩 쓰고, reducer에서 key를 기준으로 reduction,aggregation 즉 집계처리할 수 있는데, 2년전에 해본거라 기억이 가물거리지만ㅎㅎ stream을 이용하면 map,reduce가 가능하다. 마치 method chain(?)처럼 동작한다. stream은 일종의 데이터의 순열정도라고 본다.nPr? 아니다. 그냥 순서가 있는 원소의 집합이라고 해야 할까... 아래 코드는 1~10까지의 정수형 배열의 요소의 합계를 계산하는 것이다. 기록하고 몇번이건 봐야 기억할 수 있다.피곤하다. package com.dbility.bigdata.lambd..

자바는 매개변수로 인스턴스만 전달 가능했다. 첫번째 쓰레드를 보면 run 메서드만 실행하려 해도 방법이 없으므로, Runnable객체를 생성해서 전달한다. 람다식은 함수를 매개변수로 넘길 수 있도록, 인터페이스 중 단 하나의 메서드만 존재하는 함수형 인터페이스 (@FunctionalInterface)를 준비 익명메서드로 전환한다. 자바 람다는 핵심적인 3개의 부분으로 구성 ( "함수의 인자"->"함수의 내부 구현코드" ) 괄호 안의 매개 변수 집합, 화살표. 그리고, 하나의 표현식이거나 코드 블록이 될 수 있는 바디 ※ 매개변수는 타입을 명시하지 않을 경우 타입을 추론한다. Interface가 하나만 존재해야 하는 이유이기도 하나보다. 람다식 형태 ( parameters ) -> expression bo..

테스트용 서버 5대를 한꺼번에 명령을 입력할 수는 없다...힘들다... Shell Programming을 잘 하진 못하니 이것만도 어딘가. 스크립트를 실행할 호스트의 root ssh인증키로 관리할 서버에 비밀번호없이 접근가능하게 되어 있어야 한다. 이미 시작되어 있는 경우등을 체크해야 하겠지만 능력없다. 동일서버에 있는 서비스는 한꺼번에 적용 가능하다. 기록만이 살길이다 system 전체 #!/bin/bash enable() { systemctl daemon-reload systemctl enable zookeeper systemctl enable hadoop systemctl enable tajo systemctl enable sqoop ssh big-slave2 "systemctl enable mar..

Apache SSHD is a 100% pure java library to support the SSH protocols on both the client and server side.

Confluent GitHub에서 ksql 4.1 release만 다운 받아 컴파일하고 실행해 보니 confluent-common, rest-utils 관련 패키지 오류가 발생했다. Confluent Platform의 OpenSource를 다운 받아 열어보니 거기에는 있었다. ksql에 대한 기대감이 크기도 하고, 이렇게 된 바에야 Confluent Platform에서 다운받아 쓰기로 한다. 헌데 거긴 zookeeper,kafka까지 모두 들어 있다. 오~마이~갓! docker도 써 볼겸 docker로 설치해 보자. docker는 https://docs.docker.com/install/linux/docker-ce/centos/를 참조해서 설치한다. [root@big-slave2 ~]# systemctl..