隔着超薄肉丝进入小说_男女刺激性视频大片_女教师的诱波多野结衣_一级欧美过瘾大片

當前位置: 首頁 / 技術干貨 / 正文
大數據高可用集群部署(一)HA的配置

2022-11-17

quorumpeermain journalnode datanode

  守護進程布局

  qianfeng01: NameNode、DataNode、JournalNode、QuorumPeerMain、ZKFC qianfeng02: NameNode、DataNode、JournalNode、QuorumPeerMain、ZKFC qianfeng03: DataNode、JournalNode、QuorumPeerMain

  現在,先停止HDFS的進程,修改如下的配置文件吧!

  hdfs-site.xml

<!-- 注意: 高可用的集群,沒有SecondaryNameNode的存在,因此在這個文件中之前存在的SecondaryNameNode的配置需要刪除 -->
<configuration>
<!-- 配置NameNode的邏輯名稱 -->
<!-- 注意: 后面的很多參數配置都是需要使用到這個名稱的 -->
<property>
<name>dfs.nameservices</name>
<value>supercluster</value>
</property>

<!-- 配置兩個NameNode的唯一標識符 -->
<property>
<name>dfs.ha.namenodes.supercluster</name>
<value>nn1,nn2</value>
</property>

<!-- 針對每一個NameNode,配置自己的RPC通信地址和端口 -->
<property>
<name>dfs.namenode.rpc-address.supercluster.nn1</name>
<value>qianfeng01:9820</value>
</property>
<property>
<name>dfs.namenode.rpc-address.supercluster.nn2</name>
<value>qianfeng02:9820</value>
</property>

<!-- 針對每一個NameNode,配置WebUI的地址和端口 -->
<property>
<name>dfs.namenode.http-address.supercluster.nn1</name>
<value>qianfeng01:9870</value>
</property>
<property>
<name>dfs.namenode.http-address.supercluster.nn2</name>
<value>qianfeng02:9870</value>
</property>

<!-- 定義journalnode進程的數據存儲的父路徑, 目錄在上面已經定義好了的:journalData -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/usr/local/hadoop-3.3.1/tmp</value>
</property>

<!-- 配置journalnode的服務器地址和存儲目錄(數目為奇數個) -->
<!-- 服務器地址使用分號“;”作為分隔符-->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://qianfeng01:8485;qianfeng02:8485;qianfeng03:8485/journalData</value>
</property>

<!-- 指定客戶端連接Active的namenode節點的java類型 -->
<property>
<name>dfs.client.failover.proxy.provider.supercluster</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

<!--為了保證系統的正確性,在任何時間只有一個NameNode處于Active狀態,需要配置一個防護機制 -->
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
<!--為了使該防護選項起作用,它必須能夠在不提供密碼的情況下SSH到目標節點。因此,還必須配置以下屬性-->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>
<!-- 免密登陸超時時間,超過此時間未連接上,則登陸失敗,此配置可選-->
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>30000</value>
</property>

<!-- 支持自動容災屬性 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>

<!-- 塊的副本數量 -->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
</configuration>

core-site.xml

<configuration>
<!--注意:使用到的是在hdfs-site.xml中配置的邏輯名稱 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://supercluster</value>
</property>

<!-- hdfs的數據保存的路徑,被其他屬性所依賴的一個基礎路徑 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop-3.3.1/tmp</value>
</property>

<!-- ZooKeeper服務的地址 -->
<property>
<name>ha.zookeeper.quorum</name>
<value>qianfeng01:2181,qianfeng02:2181,qianfeng03:2181</value>
</property>

</configuration>

  hadoop-env.sh

  # 添加兩行

  export HDFS_JOURNALNODE_USER=root

  export HDFS_ZKFC_USER=root

  分發配置文件到其他節點

  [root@qianfeng01 ~]# cd $HADOOP_HOME/etc

  [root@qianfeng01 hadoop]# scp -r hadoop qianfeng02:$PWD

  [root@qianfeng01 hadoop]# scp -r hadoop qianfeng03:$PWD

好程序員公眾號

  • · 剖析行業發展趨勢
  • · 匯聚企業項目源碼

好程序員開班動態

More+
  • HTML5大前端 <高端班>

    開班時間:2021-04-12(深圳)

    開班盛況

    開班時間:2021-05-17(北京)

    開班盛況
  • 大數據+人工智能 <高端班>

    開班時間:2021-03-22(杭州)

    開班盛況

    開班時間:2021-04-26(北京)

    開班盛況
  • JavaEE分布式開發 <高端班>

    開班時間:2021-05-10(北京)

    開班盛況

    開班時間:2021-02-22(北京)

    開班盛況
  • Python人工智能+數據分析 <高端班>

    開班時間:2021-07-12(北京)

    預約報名

    開班時間:2020-09-21(上海)

    開班盛況
  • 云計算開發 <高端班>

    開班時間:2021-07-12(北京)

    預約報名

    開班時間:2019-07-22(北京)

    開班盛況
IT培訓IT培訓
在線咨詢
IT培訓IT培訓
試聽
IT培訓IT培訓
入學教程
IT培訓IT培訓
立即報名
IT培訓

Copyright 2011-2023 北京千鋒互聯科技有限公司 .All Right 京ICP備12003911號-5 京公網安備 11010802035720號