DBILITY

cluster 내 서버 간의 시간이 달라지면 곤란(?)하니 동기화가 필요하다. 즉시 동기화는 rdate를 쓰자. rdate -s time.bora.net [root@big-slave1 ~]# yum -y install ntp Loaded plugins: fastestmirror Loading mirror speeds from cached hostfile * base: ftp.neowiz.com * epel: ftp.riken.jp * extras: mirror.kakao.com * updates: mirror.kakao.com Resolving Dependencies --> Running transaction check ---> Package ntp.x86_64 0:4.2.6p5-25.el7.centos..

RHEL7부터 커널버전이 3.X로 바뀌었다더니만, 전통적인 방법으로 SysV... /etc/rc.d/init.d에 스크립트를 작성하고 chkconfig,service로 제어하던 것만 기억하고 있는데, centos 7은 다르구만. 세상이 달라졌네..언제부터 달라진건지 원ㅎㅎ 서비스데몬의 자동시작 스크립트는 필수적이니 정리해 보자. 아래는 systemclt 명령중 자주 쓰는 옵션(?)이다. 참고 https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/7/html/system_administrators_guide/sect-managing_services_with_systemd-unit_files https://potatogim.net/wi..

jdk 1.8 64bit 설치 openjdk도 많이 쓰던데, java.oracle.com에서 다운로드합니다. 다운로드에서 링크주소를 복사해서 사용.. http://download.oracle.com/otn-pub/java/jdk/8u162-b12/0da788060d494f5095bf8624735fa2f1/jdk-8u162-linux-x64.tar.gz [root@big-master ~]# cd /usr/local/src/ [root@big-master src]# wget \ > --no-cookies --no-check-certificate \ > --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebac..

테스트 용도 4000M으로 메모리라 1.5배는 잡아야 할 텐데 swap을 4000M만 잡았다. 12G secondary sort MR을 돌리니 MR1에선 문제없이 되던 게 hadoop2 AM으로 바뀐 것 때문인지 swap percent에 대한 parameter설정 문제인지 swap 어쩐다는 오류가 난다.MR은 failure 되거나 기다리기 싫으면 kill 해야 하는 상황. swap을 올리고 싶은데 가상서버에 시스템 전문가도 아니라 영... 모르겠다. 용도별로 파티션 사이즈 계산도 하고 하던 때가 엊그젠데 이제 그만할 때가 됐나 보다. LVM 나오고 파티션... 그냥 파일로 추가하기로 함.ㅎㅎ 나중에 필요할지 모르니 기록하자. 나머지 datanode들 모두 같이 처리. [root@big-slave1 ~]#..

파일 내부에 특정문자열을 변경한다.설명이 영 그렇지만ㅎㅎ sed까지만 생각이 났다.ㅠㅠ 회사에 가면 Shell Programming책이 있는데..언제적 거더라. 예시는 디렉토리의 csv파일을 하나로 합치고, 파일내부에서 쉼표(,) 두개를 하나로 바꾼다. 상위 10줄을 출력해 본다. [hadoop@big-master ~]$ ls *.csv | sort -r | xargs cat > mergefile.csv [hadoop@big-master ~]$ sed -i -e 's/,,/,/g' mergefile.csv [hadoop@big-master ~]$ head mrgefile.csv