DBILITY

서버 여러대를 한꺼번에 작업하니 putty만으론 벅차다...https://mobaxterm.mobatek.net/ backspace문제가 있다.오랜만인데 shell script에 뭔가 했던기억이ㅎㅎ/etc/profile에 stty erase ^H위와 같이 입력하고,여러서버면 rsync로 동기화(?)해 준다.헌데, mobaxterm은 MultiExec란게 있네..오호..secureCRT에도 이런 기능이 있나?!

파일 내부에 특정문자열을 변경한다.설명이 영 그렇지만ㅎㅎ sed까지만 생각이 났다.ㅠㅠ 회사에 가면 Shell Programming책이 있는데..언제적 거더라. 예시는 디렉토리의 csv파일을 하나로 합치고, 파일내부에서 쉼표(,) 두개를 하나로 바꾼다. 상위 10줄을 출력해 본다. [hadoop@big-master ~]$ ls *.csv | sort -r | xargs cat > mergefile.csv [hadoop@big-master ~]$ sed -i -e 's/,,/,/g' mergefile.csv [hadoop@big-master ~]$ head mrgefile.csv

소스컴파일 후 공식사이트 매뉴얼에 따라 진행, 사내 또는 사설 mvn repository가 있다면 pom에 추가하면, 빌드시간이 좀 줄어든다. 5대의 서버에 각각 user는 tajo, datagroup에 추가하고, ssh인증키로 접근 가능하게도 해야한다. active tajoMaster를 kill하고 보니 backup tajoMaster가 active로 바뀌어 있었다. 죽였던 tajoMaster는 tajo-daemon.sh start master 시작됨. derby를 사용하니 catalog공유가 안된다. mariadb를 설치한다. 설치 후 테스트 중 갑자기 Backup master가 active, Active master도 active 상태가 되었다. 일단 1) tajo.worker.resource.di..

메모리 제약때문에 TajoWoker가 실행이 안되어 MIN-HEAP을 1000M로 설정하였다. 미국 상업항공편 운항통계정보 중 2008년도 운항기록으로 테스트를 진행하였으며, 월별 지연도착 항공편 수를 계산해 보았다. 서버사양,설정,MapReduce1프로그램의 성능(오래전에 만든건데 sortComparer적용,combiner 미적용인듯)에 따라 다르겠지만,테스트 시스템에선 10배 차이가 난다. worker 2대일때 Tajo 6초대 MapReduce1 63초 worker 4대일때 Tajo 거의3초대 MapReduce1 60~65초 정말 노드를 늘리면 선형적으로 성능이 증가한다고 하던데... tajo Worker heap만 기본 5000M으로 늘려서 그러나.. mapreduce쪽은 parameter(?) 튜..

매뉴얼을 봐도 되고, 검색하면 바로 나오지만, 정리하는 습관이 오래 기억에 남는다. 그나 저나 vim에서 명령실행시 권한 상승되는게 있었는데,여전하겠지? :%s/oldString/newString/g