하둡 3.4.0 (v 1.0) [마스터노드1]

• 참고한 링크들은 다음과 같다

**설치 진행할 서버

1. hmaster1
2. hmaster2
3. hworker1
4. hworker2
5. heco

자바 버전 확인 및 /etc/hosts 에 서로의 host 등록 잘 되어있는지 항상 먼저 확인하기**

서비스 동작 순서

**# 마스터노드1 : nn1 , 마스터노드2: nn2 , 데이터노드1 : dn1 , 데이터노드2, 하둡에코
5개로 클러스터 구성함 (홀수로 구성해야함)
# 아래 괄호는 어디 어디에서만 실행해야하는지 표시
# 예를들어 (nn1) <- 마스터1에서만 실행하기
# (nn1, nn2) <- 마스터1,2에서만 실행하기
============================
1. 주키퍼 초기화 (nn1)
$HADOOP_HOME/bin/hdfs zkfc -formatZK

2. 저널노드 시작 (nn1, nn2, dn1 : znode 설정한 VM)
$HADOOP_HOME/bin/hdfs --daemon start journalnode

3. 네임노드 포맷 및 실행 (nn1)
hdfs namenode -format
$HADOOP_HOME/bin/hdfs --daemon start namenode

4. 스탠바이 네임노드 메타데이터 복사 및 실행 (nn2)
hdfs namenode -bootstrapStandby
$HADOOP_HOME/bin/hdfs --daemon start namenode

5. 주키퍼 컨트롤러 시작 (nn1, nn2)
$HADOOP_HOME/bin/hdfs --daemon start zkfc

6. 데이터 노드 시작 (dn1,dn2)
$HADOOP_HOME/bin/hdfs --daemon start datanode

7. 리소스 매니저(yarn) 시작 (nn1)
start-yarn.sh

8. 히스토리 서버 시작 (nn1, nn2)
$HADOOP_HOME/bin/mapred --daemon start historyserver

9. 하둡 네임노드 세이프티 모드 여부 확인 (nn1)
hdfs dfsadmin -safemode get
# Safe mode is OFF 여야 데이터 처리가 원활함
hdfs dfsadmin -safemode leave
# 세이프모드 종류

10. 이 모든 과정이 끝나면
stop-all.sh 및 start-all.sh 정상 동작함

11. 리프레쉬 노드 (하둡설치된 어느곳이던)
#네임노드 포트 변경, 호스트 추가 등 변동있을때 리소스 매니저에서 정보 갱신
refresh-namenodes.sh 

# 데이터노드 목록 갱신 (추가나 제거있을시) dfs.exclude 변경했을시
hdfs dfsadmin -refreshNodes

============================**

웹UI 포트

nn1공인IP:9870
nn2공인IP:9870

Active-standby test

**중지 할 nn1 가서
hadoop-daemon.sh stop namenode

크롬에서 nn1:9870 및 nn2:9870 확인

다 확인하고 다시 hadoop-daemnon.sh start namenode**

다운로드 사이트

Apache Download Mirrors