DBILITY

tajo catalog로 사용할 db가 필요했다. PostgreSQL을 쓰자니 경험이 일천하다. 회사 업무용은 PostgreSQL로 대체하기로 했는데..framework은 거의 준비가 되었다만.. apm사용하던때는 mysql compile도 많이 했는데,configure.... mariadb는 처음이다.cmake를 쓰는구만. make file 생성인지 check인지 하는 중에 library 오류가 나면 찾아서 설치해 준다. 엄청 오래 걸린다..테스트용도는 그냥 rpm이나 binary버전으로 설치하는게 좋겠다. 그나저나 개발자는 참 좋은 아빠다. 딸들이름을 개발제품에 쓸 정도니까ㅎㅎ 나는 어떤 아빠일까... https://mariadb.com/kb/en/library/Build_Environment_Set..

Job fail일 발생했다. AM이 죽었다는건가? 안되는 영어독해를 해보니 물리메모리 제한을 넘어서 실행을 했다고? reduce시작하고 저러는 걸 보니 그쪽문제인가.. container physical memory check를 비활성화하고 해봤다. 그래도 죽는다.. 연습도 할겸 며칠 후 2.7.6으로 재설치를 했다. 테스트 당시는 2.7.5였다. 뭥미 container physical memory check나 기타 한게 없다....정상이다.. jdk1.8때문이라는 내용도 있다.상세한 설명이 없지만.. 18/04/14 17:41:07 INFO mapreduce.Job: Task Id : attempt_1523694716869_0001_r_000000_0, Status : FAILED Container [p..

테스트 용도 4000M으로 메모리라 1.5배는 잡아야 할 텐데 swap을 4000M만 잡았다. 12G secondary sort MR을 돌리니 MR1에선 문제없이 되던 게 hadoop2 AM으로 바뀐 것 때문인지 swap percent에 대한 parameter설정 문제인지 swap 어쩐다는 오류가 난다.MR은 failure 되거나 기다리기 싫으면 kill 해야 하는 상황. swap을 올리고 싶은데 가상서버에 시스템 전문가도 아니라 영... 모르겠다. 용도별로 파티션 사이즈 계산도 하고 하던 때가 엊그젠데 이제 그만할 때가 됐나 보다. LVM 나오고 파티션... 그냥 파일로 추가하기로 함.ㅎㅎ 나중에 필요할지 모르니 기록하자. 나머지 datanode들 모두 같이 처리. [root@big-slave1 ~]#..

서버 여러대를 한꺼번에 작업하니 putty만으론 벅차다...https://mobaxterm.mobatek.net/ backspace문제가 있다.오랜만인데 shell script에 뭔가 했던기억이ㅎㅎ/etc/profile에 stty erase ^H위와 같이 입력하고,여러서버면 rsync로 동기화(?)해 준다.헌데, mobaxterm은 MultiExec란게 있네..오호..secureCRT에도 이런 기능이 있나?!

파일 내부에 특정문자열을 변경한다.설명이 영 그렇지만ㅎㅎ sed까지만 생각이 났다.ㅠㅠ 회사에 가면 Shell Programming책이 있는데..언제적 거더라. 예시는 디렉토리의 csv파일을 하나로 합치고, 파일내부에서 쉼표(,) 두개를 하나로 바꾼다. 상위 10줄을 출력해 본다. [hadoop@big-master ~]$ ls *.csv | sort -r | xargs cat > mergefile.csv [hadoop@big-master ~]$ sed -i -e 's/,,/,/g' mergefile.csv [hadoop@big-master ~]$ head mrgefile.csv