Kafka跨網(wǎng)絡(luò)使用問(wèn)題排查

IT那活兒發(fā)布于2023-01-11 13:19 / 3466人閱讀

點(diǎn)擊上方“IT那活兒”公眾號(hào)，關(guān)注后了解更多內(nèi)容，不管IT什么活兒，干就完了！！！

近期在實(shí)現(xiàn)某個(gè)功能點(diǎn)上線生產(chǎn)環(huán)境，發(fā)現(xiàn)訪問(wèn)受限，導(dǎo)致采集的數(shù)據(jù)無(wú)法入到kafka，碰到此類(lèi)問(wèn)題，我們把分析過(guò)程記錄一下。

一

功能流程

分部：通過(guò)調(diào)度平臺(tái)定期采集指標(biāo)數(shù)據(jù)，執(zhí)行器采集數(shù)據(jù)后，將數(shù)據(jù)外吐給總部slb。
總部：利用 slb 配置代理轉(zhuǎn)發(fā)到kafka ，然后由數(shù)據(jù)處理模塊對(duì)kafka 數(shù)據(jù)做相關(guān)邏輯處理。

二

問(wèn)題描述

當(dāng)采集執(zhí)行器采集到指標(biāo)數(shù)據(jù)發(fā)送給slb ，再由slb 將數(shù)據(jù)轉(zhuǎn)發(fā)到kafka ，后臺(tái)提示如下報(bào)錯(cuò)信息：

Connection to node 0 (/21.xx.xx.7:xx) could not be established. Broker may not be available.

從錯(cuò)誤信息提示kafka地址與端口無(wú)法調(diào)通，broker 不可用。

三

問(wèn)題分析

針對(duì)此類(lèi)問(wèn)題，采用分段分析方式對(duì)問(wèn)題進(jìn)行排查分析：

1）網(wǎng)絡(luò)檢查從省端ping 及telnet 到集團(tuán)端服務(wù)情況如下

省端到集團(tuán)端slb網(wǎng)絡(luò)正常。
省端和集團(tuán)分屬不同的網(wǎng)絡(luò)，省側(cè)到集團(tuán)端kafka網(wǎng)絡(luò)受限，kafka是集團(tuán)內(nèi)部服務(wù)，不直接開(kāi)放給省側(cè)訪問(wèn)。

2）省側(cè)采集程序排查

在省側(cè)部署跟集團(tuán)側(cè)相同版本kafka 環(huán)境，利用Kafka 客戶端命令連接集團(tuán)slb進(jìn)行生產(chǎn)消息，提示超時(shí)報(bào)錯(cuò)信息，通過(guò)這種驗(yàn)證方式，可以排出不是省側(cè)調(diào)度程序的問(wèn)題。

org.apache.kafka.common.errors.TimeoutException: Topic not present in metadata

3）集團(tuán)側(cè)鏈路排查

驗(yàn)證集團(tuán)側(cè)slb到kafka 網(wǎng)絡(luò)是相通的。
集團(tuán)側(cè)部署一個(gè)新的kafka 服務(wù)，利用Kafka 客戶端命令遠(yuǎn)程連接集團(tuán)slb/kafka進(jìn)行生產(chǎn)消息，kafka topic 能正常收到信息。

通過(guò)以上兩個(gè)排出集團(tuán)側(cè)內(nèi)部鏈路問(wèn)題。

四

問(wèn)題解決

從上面幾點(diǎn)分析，可以排查出省側(cè)與集團(tuán)側(cè)自身的鏈路問(wèn)題，省側(cè)程序是直接跟slb 進(jìn)行通訊，但又提示連接Kafka超時(shí)報(bào)錯(cuò)信息，檢查slb 到kafka 本身鏈路也沒(méi)有問(wèn)題，說(shuō)明問(wèn)題出在跨網(wǎng)絡(luò)使用kafka 造成的原因。

第一次交互流程（1/2/3/4）客戶端獲取到的真實(shí)的kafka的ip信息，而第二次交互的時(shí)候client會(huì)根據(jù)kafka 的ip 信息直接去訪問(wèn)kafka 地址，因?yàn)榭缇W(wǎng)絡(luò)受限，所以第二次交互出現(xiàn)連接超時(shí)報(bào)錯(cuò)現(xiàn)象。

針對(duì)跨網(wǎng)絡(luò)使用kafka情況下，需要在kafka 開(kāi)啟advertised.listeners參數(shù)配置。根據(jù)此參數(shù)描述，它是用于暴露給外部的listeners，如果沒(méi)有設(shè)置，會(huì)讀取listeners參數(shù)內(nèi)容，而listeners參數(shù)記錄的是本機(jī)kafka 監(jiān)聽(tīng)端口。

# Hostname and port the broker will advertise to producers and consumers. If not set,
# it uses the value for "listeners" if configured. Otherwise, it will use the value
# returned from java.net.InetAddress.getCanonicalHostName().
#advertised.listeners=PLAINTEXT://your.host.name:9092

當(dāng)省側(cè)客戶端發(fā)送數(shù)據(jù)第一次跟slb建立連接后，kafka 會(huì)返回advertised.listenersr所配置的內(nèi)容給客戶端，后面省側(cè)客戶端會(huì)根據(jù)advertised.listenersr的值解析出對(duì)應(yīng)的域名或者ip。根據(jù)這些信息，客戶端再次訪問(wèn)到slb，由slb 轉(zhuǎn)發(fā)到真實(shí)Kafka服務(wù)，才能實(shí)現(xiàn)鏈路流轉(zhuǎn)正常。

advertised.listeners=PLAINTEXT://slb ip 地址:9092

因?yàn)榭缇W(wǎng)絡(luò)受限，對(duì)外提供服務(wù)listeners 配置成slb ip或者域名及對(duì)應(yīng)的端口，不能配置成kafka 自身的ip 與端口，才能在跨網(wǎng)絡(luò)下通過(guò)代理轉(zhuǎn)發(fā)方式給后端kafka 推送數(shù)據(jù)。