Kafka消息隊(duì)列 UKafka

ernest.wang 發(fā)布于2022-07-12 17:46 / 2195人閱讀

摘要：快速開始本例以數(shù)據(jù)同步到來做說明。創(chuàng)建連接器點(diǎn)擊創(chuàng)建連接器按鈕，打開配置頁面。若下游為，則需配置路徑，若為，則需填寫信息。連接器列表詳情頁數(shù)據(jù)驗(yàn)證參考，為集群創(chuàng)建，并寫入消息到其中。

快速開始

本例以UKafka數(shù)據(jù)同步到UHadoop來做說明。

創(chuàng)建連接器

點(diǎn)擊【創(chuàng)建連接器】按鈕，打開配置頁面。

配置連接器

基本信息配置按需填寫。

【上游】意為Kafka連接器上游的Kafka集群，【下游】意為Kafka連接器將數(shù)據(jù)傳輸?shù)侥膫€(gè)目的地。

若【下游】為HDFS，則需配置路徑，若為Elasticsearch，則需填寫Index信息。

本例中上游為UKafka集群，下游為UHadoop集群，目標(biāo)HDFS路徑為/test/kafkaSinker。

連接器創(chuàng)建完成后，可在列表中查看屬性概覽，也可在詳情頁中做更多管理。

數(shù)據(jù)驗(yàn)證參考 https://doc.ucloud.cn/analysis/ukafka/develop/basic ，為 UKafka 集群創(chuàng)建Topic "for-sinker-test"，并寫入消息到其中。

登陸uhadoop的master1節(jié)點(diǎn)，查看 HDFS 的文件：hadoop fs -ls /test/kafkaSinker/2019-07-21/

查看文本內(nèi)容是否與UKafka中輸入的相同：hadoop fs -text /test/kafkaSinker/2019-07-21/for-sinker-test-1.1563728241834.gz.tmp

GPU云服務(wù)器云服務(wù)器消息隊(duì)列kafka視頻教程阿里云雙11消息隊(duì)列 Kafka組團(tuán)優(yōu)惠阿里云雙11消息隊(duì)列 Kafka有折扣嗎 kafka 隊(duì)列

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://specialneedsforspecialkids.com/yun/127238.html

相關(guān)文章

FAQs Kafka消息隊(duì)列 UKafka

摘要：大量的和分區(qū)會(huì)嚴(yán)重影響集群性能。介紹可參考收到離線分區(qū)總數(shù)異常告警一般是某個(gè)節(jié)點(diǎn)宕機(jī)或者服務(wù)異常導(dǎo)致。若服務(wù)卡住，可在評(píng)估后在控制臺(tái)重啟該節(jié)點(diǎn)服務(wù)。若想了解當(dāng)前請(qǐng)求延時(shí)情況，建議關(guān)注平均請(qǐng)求延時(shí)監(jiān)控項(xiàng)。 FAQs本篇目錄一個(gè)UKafka集群可以創(chuàng)建多少個(gè)Topic？如何增加Topic的副本數(shù)量(ReplicationFactor)？收到離線分區(qū)總數(shù)>=10.0個(gè)告警，離線分區(qū)總數(shù)是什么，怎么...

ernest.wang 2022-07-12 17:36 評(píng)論0 收藏2407
集群管理 Kafka消息隊(duì)列 UKafka

摘要：集群管理集群管理集群管理本篇目錄創(chuàng)建集群創(chuàng)建集群調(diào)整集群參數(shù)調(diào)整集群參數(shù)創(chuàng)建集群創(chuàng)建集群創(chuàng)建集群點(diǎn)擊控制臺(tái)左上角全部產(chǎn)品選擇消息隊(duì)列也可鎖定到左側(cè)菜單欄。選擇完畢后，進(jìn)入集群設(shè)置頁面，可對(duì)集群參數(shù)進(jìn)行配置。集群管理本篇目錄創(chuàng)建集群調(diào)整集群參數(shù)創(chuàng)建集群1. 點(diǎn)擊控制臺(tái)左上角全部產(chǎn)品選擇Kafka消息隊(duì)列 UKafka,也可鎖定到左側(cè)菜單欄。2. 進(jìn)入U(xiǎn)Kafka操作界面，點(diǎn)擊創(chuàng)建集群進(jìn)行UK...

ernest.wang 2022-07-12 17:19 評(píng)論0 收藏276
性能測(cè)試 Kafka消息隊(duì)列 UKafka

摘要：性能測(cè)試性能測(cè)試性能測(cè)試上游，下游是的連接器節(jié)點(diǎn)數(shù)分區(qū)數(shù)數(shù)消息大小機(jī)型速度消息數(shù)核核核核核核核上游，下游是連接器節(jié)點(diǎn)數(shù)分區(qū)數(shù)數(shù)消息大小機(jī)型版本機(jī)型節(jié)點(diǎn)數(shù)分片數(shù)副本數(shù)速度消息數(shù)核核核核核核核核核性能測(cè)試上游UKafka，下游是UHadoop的HDFS 連接器節(jié)點(diǎn)數(shù)分區(qū)數(shù)broker數(shù)消息大小/byteskafka機(jī)型hadoopmasterhadoopcore速度(消息數(shù)/s)1331024...

ernest.wang 2022-07-12 17:26 評(píng)論0 收藏1358
性能測(cè)試 Kafka消息隊(duì)列 UKafka

摘要：性能測(cè)試性能測(cè)試性能測(cè)試在不同機(jī)型集群默認(rèn)配置下，利用腳本進(jìn)行性能基準(zhǔn)測(cè)試測(cè)試結(jié)果下載性能測(cè)試在不同機(jī)型 ukafka 集群默認(rèn)配置下，利用 kafka-producer-perf-test.sh 腳本進(jìn)行性能基準(zhǔn)測(cè)試測(cè)試結(jié)果下載

ernest.wang 2022-07-12 16:58 評(píng)論0 收藏1086
監(jiān)控視圖 Kafka消息隊(duì)列 UKafka

摘要：監(jiān)控視圖監(jiān)控視圖監(jiān)控視圖集群監(jiān)控集群監(jiān)控提供小時(shí)至天多個(gè)維度的集群流入流出數(shù)據(jù)量和消息個(gè)數(shù)監(jiān)控，生產(chǎn)者消費(fèi)者監(jiān)控?cái)?shù)據(jù)，以及相關(guān)監(jiān)控?cái)?shù)據(jù)。節(jié)點(diǎn)監(jiān)控節(jié)點(diǎn)監(jiān)控提供每個(gè)上的磁盤網(wǎng)卡，服務(wù)，以及監(jiān)控?cái)?shù)據(jù) 監(jiān)控視圖集群監(jiān)控提供1小時(shí)至15天多個(gè)維度的集群流入、流出數(shù)據(jù)量和消息個(gè)數(shù)監(jiān)控，Kafka生產(chǎn)者、消費(fèi)者監(jiān)控?cái)?shù)據(jù)，以及Zookeeper相關(guān)監(jiān)控?cái)?shù)據(jù)。節(jié)點(diǎn)監(jiān)控提供每個(gè)Broker上的CPU、MEM、磁...

ernest.wang 2022-07-12 17:26 評(píng)論0 收藏680