大數據開發系列四：hadoop& flink 配置kerberos認證

IT那活兒發布于2023-01-11 13:19 / 3993人閱讀

點擊上方“IT那活兒”公眾號，關注后了解更多內容，不管IT什么活兒，干就完了！！！

一

前言

我們之前的大數據開發系列文章介紹了kerberos是如何安裝與使用，本次在已安裝的kerberos服務基礎上對hadoop 與flink組件進行kerberos認證配置。

《大數據開發系列一：基于ip2region實現在流式數據ip歸屬轉換》
《大數據開發系列二：自定義flink Metric kafka Reporter》
《大數據開發系列三：kerberos認證實踐》

二

環境依賴

類型	主機	主機hostname	安裝組件
kerberos服務端	192.168.199.102	bigdata-03	krb5-server krb5-workstation krb5-libs krb5-devel
kerberos客戶端	192.168.199.104	bigdata-05	krb5-workstation krb5-devel
hadoop環境	192.168.199.104	bigdata-05	hadoop-3.3.3

三

hadoop認證配置

3.1 創建principle添加用戶

hadoop的kerberos認證，一般需要配置三種principle，分別是 hadoop, host, HTTP。

格式為：用戶名/主機hostname@HADOOP.COM。

如果現有的HDFS和YARN守護程序用的是同一個用戶身份運行，可以配置成一個hadoop principle。

kadmin.local -q "addprinc -randkeyhadoop/bigdata-03@HADOOP.COM"
kadmin.local -q "addprinc -randkeyhadoop/bigdata-05@HADOOP.COM"

listprincs/list_principals 查詢所有用戶。

3.2 創建keytab密碼文件

kadmin.local -q "xst -k /root/keytabs/kerberos/hadoop.keytabhadoop/bigdata-03@HADOOP.COM"
kadmin.local -q "xst -k /root/keytabs/kerberos/hadoop.keytab hadoop/bigdata-05@HADOOP.COM"

查看：

klist -kt /root/keytabs/kerberos/hadoop.keytab
klist -kt /home/gpadmin/hadoop.keytab

3.3 hadoop配置修改

1）core-site.xml 配置新增

<property>
<name>hadoop.security.authenticationname>
<value>kerberosvalue>
property>
<property>
<name>hadoop.security.authorizationname>
<value>truevalue>
property>

2）hdfs-site.xml 配置新增


    <property>
      <name>dfs.block.access.token.enablename>
      <value>truevalue>
    property>
                <property>
                  <name>dfs.permissions.enabledname>
                  <value>falsevalue>
                property> 
    
    <property>
      <name>dfs.namenode.kerberos.principalname>
      <value>hadoop/_HOST@EXAMPLE.COMvalue>
    property>
    
    <property>
      <name>dfs.namenode.keytab.filename>
      <value>/home/gpadmin/hadoop.keytabvalue>
    property>

      
    <property>
      <name>dfs.secondary.namenode.kerberos.principalname>
      <value>hadoop/_HOST@EXAMPLE.COMvalue>
    property>
    
    <property>
      <name>dfs.secondary.namenode.keytab.filename>
      <value>/home/gpadmin/hadoop.keytabvalue>
    property>

    
    <property>
      <name>dfs.web.authentication.kerberos.principalname>
      <value>hadoop/_HOST@EXAMPLE.COMvalue>
    property>
        
    <property>
      <name>dfs.web.authentication.kerberos.keytabname>
      <value>/home/gpadmin/hadoop.keytabvalue>
    property>


    
    <property>
      <name>dfs.datanode.kerberos.principalname>
      <value>hadoop/_HOST@EXAMPLE.COMvalue>
    property>

    
    <property>
      <name>dfs.datanode.keytab.filename>
      <value>/home/gpadmin/hadoop.keytabvalue>
    property>


    
    <property>
      <name>dfs.data.transfer.protectionname>
      <value>authenticationvalue>
    property>

    
    <property>
      <name>dfs.http.policyname>
      <value>HTTPS_ONLYvalue>
      <description>所有開啟的web頁面均使用https, 細節在ssl server 和client那個配置文件內配置description>
    property>

3）yarn-site.xml配置新增


<property>
  <name>yarn.resourcemanager.principalname>
  <value>hadoop/_HOST@EXAMPLE.COMvalue>
property>


<property>
  <name>yarn.resourcemanager.keytabname>
  <value>/home/gpadmin/hadoop.keytabvalue>
property>


<property>
  <name>yarn.nodemanager.principalname>
  <value>hadoop/_HOST@EXAMPLE.COMvalue>
property>


<property>
  <name>yarn.nodemanager.keytabname>
  <value>/home/gpadmin/hadoop.keytabvalue>
property>

4）mapred.xml配置新增


<property>
<name>mapreduce.jobhistory.principalname>
<value>hadoop/_HOST@EXAMPLE.COMvalue>
property>


<property>
<name>mapreduce.jobhistory.keytabname>
<value>/home/gpadmin/hadoop.keytabvalue>
property>

5）ssl-server配置新增

<property>
<name>ssl.server.truststore.locationname>
<value>/home/gpadmin/kerberos_https/keystorevalue>
<description>Truststore to be used by NN and DN. Must be specified.
description>
property>

<property>
<name>ssl.server.truststore.passwordname>
<value>passwordvalue>
<description>Optional. Default value is "".
description>
property>

<property>
<name>ssl.server.truststore.typename>
<value>jksvalue>
<description>Optional. The keystore file format, default value is "jks".
description>
property>

<property>
<name>ssl.server.truststore.reload.intervalname>
<value>10000value>
<description>Truststore reload check interval, in milliseconds.
Default value is 10000 (10 seconds).
description>
property>

<property>
<name>ssl.server.keystore.locationname>
<value>/home/gpadmin/kerberos_https/keystorevalue>
<description>Keystore to be used by NN and DN. Must be specified.
description>
property>

<property>
<name>ssl.server.keystore.passwordname>
<value>passwordvalue>
<description>Must be specified.
description>
property>

<property>
<name>ssl.server.keystore.keypasswordname>
<value>passwordvalue>
<description>Must be specified.
description>
property>

<property>
<name>ssl.server.keystore.typename>
<value>jksvalue>
<description>Optional. The keystore file format, default value is "jks".
description>
property>

<property>
<name>ssl.server.exclude.cipher.listname>
<value>TLS_ECDHE_RSA_WITH_RC4_128_SHA,SSL_DHE_RSA_EXPORT_WITH_DES40_CBC_SHA,
SSL_RSA_WITH_DES_CBC_SHA,SSL_DHE_RSA_WITH_DES_CBC_SHA,
SSL_RSA_EXPORT_WITH_RC4_40_MD5,SSL_RSA_EXPORT_WITH_DES40_CBC_SHA,
SSL_RSA_WITH_RC4_128_MD5value>
<description>Optional. The weak security cipher suites that you want excluded
from SSL communication.description>
property>

3.4 https證書配置

keytool -keystore keystore -alias hadoop -validity 365000 -
keystore/home/gpadmin/kerberos_https/keystore/keystore -
genkey -keyalg RSA -keysize 2048 -dname "CN=hadoop, 
OU=shsnc, O=snc, L=hunan, ST=changsha, C=CN"

生成keystore 證書文件。

3.5 認證測試

查看 hdfs 目錄：hdfs dfs -ls /

報錯信息：2022-11-22 10:22:15,444 WARN ipc.Client: Exception encountered while connecting to the server

org.apache.hadoop.security.AccessControlException: Client cannot authenticate via:[TOKEN, KERBEROS]

說明已加了認證后不能直接訪問，客戶端先進行認證才能正常訪問目錄結構。

kinit  -kt /home/gpadmin/hadoop.keytabhadoop/bigdata-05@HADOOP.COM

四

flink認證配置

4.1 認證用戶配置

如果hdfs-site.xml 屬性項配置：

<property>
<name>dfs.permissions.enabledname>
<value>truevalue>
property>

為true時，新建憑證為hadoop 安裝用戶，如以gpadmin用戶安裝了hadoop。
kadmin.local -q "xst -k /root/keytabs/kerberos/hadoop.keytab gpadmin@HADOOP.COM"
為false時，新建憑證可以不是hadoop 安裝用戶。
kadmin.local -q "xst -k /root/keytabs/kerberos/hadoop.keytab xx@HADOOP.COM"

驗證：

klist -kt /root/keytabs/kerberos/hadoop.keytab

4.2 flink-conf.yaml 新增配置

security.kerberos.login.use-ticket-cache: true
security.kerberos.login.keytab: /home/gpadmin/hadoop.keytab
security.kerberos.login.principal: gpadmin@HADOOP.COM
security.kerberos.login.contexts: Client

4.3 認證測試

flink run -m yarn-cluster
-p 1
-yjm 1024
-ytm 1024
-ynm amp_zabbix
-c com.shsnc.fk.task.tokafka.ExtratMessage2KafkaTask
-yt /home/gpadmin/jar_repo/config/krb5.conf
-yD env.java.opts.jobmanager=-Djava.security.krb5.conf=krb5.conf
-yD env.java.opts.taskmanager=-Djava.security.krb5.conf=krb5.conf
-yD security.kerberos.login.keytab=/home/gpadmin/hadoop.keytab
-yD security.kerberos.login.principal=gpadmin@HADOOP.COM
$jarname

在提交到flink 任務參數里面加入紅色部份認證配置，能正常提交到yarn 集群且日志沒有相關認證報錯信息，說明認證配置成功。

本文作者：長研架構小組(上海新炬王翦團隊）

本文來源：“IT那活兒”公眾號

GPU云服務器云服務器大數據開發hadoop hadoop大數據開發 hadoop大數據開發培訓 hadoop集群系列

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/129142.html

大數據開發系列五：kafka&amp; zookeeper 配置kerberos認證

大數據開發系列五：kafka& zookeeper 配置kerberos認證 img{ display:block; margin:0 auto !important; width:100%; } body{ ...

不知名網友 2023-01-11 11:02 評論0 收藏2694
魅族大數據運維平臺實踐

摘要：一大數據平臺介紹大數據平臺架構演變如圖所示魅族大數據平臺架構演變歷程年底，我們開始實踐大數據，并部署了測試集群。因此，大數據運維的目標是以解決運維復雜度的自動化為首要目標。大數據運維存在的問題大數據運維存在的問題包括部署及運維復雜。一、大數據平臺介紹 1.1大數據平臺架構演變 ?showImg(https://segmentfault.com/img/bVWDPj?w=1024&h=...

appetizerio 2019-05-28 17:04 評論0 收藏0