摘要：由于配置流是從關(guān)系型數(shù)據(jù)庫中讀取，速度較慢，導(dǎo)致實(shí)時(shí)數(shù)據(jù)流流入數(shù)據(jù)的時(shí)候，配置信息還未發(fā)送，這樣會導(dǎo)致有些實(shí)時(shí)數(shù)據(jù)讀取不到配置信息。從數(shù)據(jù)庫中解析出來，再去統(tǒng)計(jì)近兩周占比。

https://github.com/zhisheng17/flink-learning

http://www.54tianzhisheng.cn/2019/12/31/Flink-resources/

麻煩路過的各位親給這個(gè)項(xiàng)目點(diǎn)個(gè) star，太不易了，寫了這么多，算是對我堅(jiān)持下來的一種鼓勵(lì)吧！

1、Flink 從0到1學(xué)習(xí) —— Apache Flink 介紹

2、Flink 從0到1學(xué)習(xí) —— Mac 上搭建 Flink 1.6.0 環(huán)境并構(gòu)建運(yùn)行簡單程序入門

3、Flink 從0到1學(xué)習(xí) —— Flink 配置文件詳解

4、Flink 從0到1學(xué)習(xí) —— Data Source 介紹

5、Flink 從0到1學(xué)習(xí) —— 如何自定義 Data Source ？

6、Flink 從0到1學(xué)習(xí) —— Data Sink 介紹

7、Flink 從0到1學(xué)習(xí) —— 如何自定義 Data Sink ？

8、Flink 從0到1學(xué)習(xí) —— Flink Data transformation(轉(zhuǎn)換)

9、Flink 從0到1學(xué)習(xí) —— 介紹 Flink 中的 Stream Windows

10、Flink 從0到1學(xué)習(xí) —— Flink 中的幾種 Time 詳解

11、Flink 從0到1學(xué)習(xí) —— Flink 讀取 Kafka 數(shù)據(jù)寫入到 ElasticSearch

12、Flink 從0到1學(xué)習(xí) —— Flink 項(xiàng)目如何運(yùn)行？

13、Flink 從0到1學(xué)習(xí) —— Flink 讀取 Kafka 數(shù)據(jù)寫入到 Kafka

14、Flink 從0到1學(xué)習(xí) —— Flink JobManager 高可用性配置

15、Flink 從0到1學(xué)習(xí) —— Flink parallelism 和 Slot 介紹

16、Flink 從0到1學(xué)習(xí) —— Flink 讀取 Kafka 數(shù)據(jù)批量寫入到 MySQL

17、Flink 從0到1學(xué)習(xí) —— Flink 讀取 Kafka 數(shù)據(jù)寫入到 RabbitMQ

18、Flink 從0到1學(xué)習(xí) —— Flink 讀取 Kafka 數(shù)據(jù)寫入到 HBase

19、Flink 從0到1學(xué)習(xí) —— Flink 讀取 Kafka 數(shù)據(jù)寫入到 HDFS

20、Flink 從0到1學(xué)習(xí) —— Flink 讀取 Kafka 數(shù)據(jù)寫入到 Redis

21、Flink 從0到1學(xué)習(xí) —— Flink 讀取 Kafka 數(shù)據(jù)寫入到 Cassandra

22、Flink 從0到1學(xué)習(xí) —— Flink 讀取 Kafka 數(shù)據(jù)寫入到 Flume

23、Flink 從0到1學(xué)習(xí) —— Flink 讀取 Kafka 數(shù)據(jù)寫入到 InfluxDB

24、Flink 從0到1學(xué)習(xí) —— Flink 讀取 Kafka 數(shù)據(jù)寫入到 RocketMQ

25、Flink 從0到1學(xué)習(xí) —— 你上傳的 jar 包藏到哪里去了

26、Flink 從0到1學(xué)習(xí) —— 你的 Flink job 日志跑到哪里去了

另外我自己整理了些 Flink 的學(xué)習(xí)資料，目前已經(jīng)全部放到微信公眾號了。
你可以加我的微信：zhisheng_tian，然后回復(fù)關(guān)鍵字：Flink 即可無條件獲取到，轉(zhuǎn)載請聯(lián)系本人獲取授權(quán)，違者必究。

更多私密資料請加入知識星球！

有人要問知識星球里面更新什么內(nèi)容？值得加入嗎？

目前知識星球內(nèi)已更新的系列文章：

1、Flink 源碼解析 —— 源碼編譯運(yùn)行

2、Flink 源碼解析 —— 項(xiàng)目結(jié)構(gòu)一覽

3、Flink 源碼解析—— local 模式啟動(dòng)流程

4、Flink 源碼解析 —— standalonesession 模式啟動(dòng)流程

5、Flink 源碼解析 —— Standalone Session Cluster 啟動(dòng)流程深度分析之 Job Manager 啟動(dòng)

6、Flink 源碼解析 —— Standalone Session Cluster 啟動(dòng)流程深度分析之 Task Manager 啟動(dòng)

7、Flink 源碼解析 —— 分析 Batch WordCount 程序的執(zhí)行過程

8、Flink 源碼解析 —— 分析 Streaming WordCount 程序的執(zhí)行過程

9、Flink 源碼解析 —— 如何獲取 JobGraph？

10、Flink 源碼解析 —— 如何獲取 StreamGraph？

11、Flink 源碼解析 —— Flink JobManager 有什么作用？

12、Flink 源碼解析 —— Flink TaskManager 有什么作用？

13、Flink 源碼解析 —— JobManager 處理 SubmitJob 的過程

14、Flink 源碼解析 —— TaskManager 處理 SubmitJob 的過程

15、Flink 源碼解析 —— 深度解析 Flink Checkpoint 機(jī)制

16、Flink 源碼解析 —— 深度解析 Flink 序列化機(jī)制

17、Flink 源碼解析 —— 深度解析 Flink 是如何管理好內(nèi)存的？

除了《從1到100深入學(xué)習(xí)Flink》源碼學(xué)習(xí)這個(gè)系列文章，《從0到1學(xué)習(xí)Flink》的案例文章也會優(yōu)先在知識星球更新，讓大家先通過一些 demo 學(xué)習(xí) Flink，再去深入源碼學(xué)習(xí)！

如果學(xué)習(xí) Flink 的過程中，遇到什么問題，可以在里面提問，我會優(yōu)先解答，這里做個(gè)抱歉，自己平時(shí)工作也挺忙，微信的問題不能做全部做一些解答，
但肯定會優(yōu)先回復(fù)給知識星球的付費(fèi)用戶的，慶幸的是現(xiàn)在星球里的活躍氛圍還是可以的，有不少問題通過提問和解答的方式沉淀了下來。

1、為何我使用 ValueState 保存狀態(tài) Job 恢復(fù)是狀態(tài)沒恢復(fù)？

2、flink中watermark究竟是如何生成的，生成的規(guī)則是什么，怎么用來處理亂序數(shù)據(jù)

3、消費(fèi)kafka數(shù)據(jù)的時(shí)候，如果遇到了臟數(shù)據(jù)，或者是不符合規(guī)則的數(shù)據(jù)等等怎么處理呢？

4、在Kafka 集群中怎么指定讀取/寫入數(shù)據(jù)到指定broker或從指定broker的offset開始消費(fèi)？

5、Flink能通過oozie或者azkaban提交嗎？

6、jobmanager掛掉后，提交的job怎么不經(jīng)過手動(dòng)重新提交執(zhí)行？

7、使用flink-web-ui提交作業(yè)并執(zhí)行 但是/opt/flink/log目錄下沒有日志文件 請問關(guān)于flink的日志（包括jobmanager、taskmanager、每個(gè)job自己的日志默認(rèn)分別存在哪個(gè)目錄 ）需要怎么配置？

8、通過flink 儀表盤提交的jar 是存儲在哪個(gè)目錄下？

9、從Kafka消費(fèi)數(shù)據(jù)進(jìn)行etl清洗，把結(jié)果寫入hdfs映射成hive表，壓縮格式、hive直接能夠讀取flink寫出的文件、按照文件大小或者時(shí)間滾動(dòng)生成文件

10、flink jar包上傳至集群上運(yùn)行，掛掉后，掛掉期間kafka中未被消費(fèi)的數(shù)據(jù)，在重新啟動(dòng)程序后，是自動(dòng)從checkpoint獲取掛掉之前的kafka offset位置，自動(dòng)消費(fèi)之前的數(shù)據(jù)進(jìn)行處理，還是需要某些手動(dòng)的操作呢？

11、flink 啟動(dòng)時(shí)不自動(dòng)創(chuàng)建 上傳jar的路徑，能指定一個(gè)創(chuàng)建好的目錄嗎

12、Flink sink to es 集群上報(bào) slot 不夠，單機(jī)跑是好的，為什么？

13、Fllink to elasticsearch如何創(chuàng)建索引文檔期時(shí)間戳？

14、blink有沒有api文檔或者demo，是否建議blink用于生產(chǎn)環(huán)境。

15、flink的Python api怎樣？bug多嗎？

16、Flink VS Spark Streaming VS Storm VS Kafka Stream

17、你們做實(shí)時(shí)大屏的技術(shù)架構(gòu)是什么樣子的？flume→kafka→flink→redis，然后后端去redis里面撈數(shù)據(jù)，醬紫可行嗎？

18、做一個(gè)統(tǒng)計(jì)指標(biāo)的時(shí)候，需要在Flink的計(jì)算過程中多次讀寫redis，感覺好怪，星主有沒有好的方案？

19、Flink 使用場景大分析，列舉了很多的常用場景，可以好好參考一下

20、將kafka中數(shù)據(jù)sink到mysql時(shí)，metadata的數(shù)據(jù)為空，導(dǎo)入mysql數(shù)據(jù)不成功？？？

21、使用了ValueState來保存中間狀態(tài)，在運(yùn)行時(shí)中間狀態(tài)保存正常，但是在手動(dòng)停止后，再重新運(yùn)行，發(fā)現(xiàn)中間狀態(tài)值沒有了，之前出現(xiàn)的鍵值是從0開始計(jì)數(shù)的，這是為什么？是需要實(shí)現(xiàn)CheckpointedFunction嗎？

22、flink on yarn jobmanager的HA需要怎么配置。還是說yarn給管理了

23、有兩個(gè)數(shù)據(jù)流就行connect，其中一個(gè)是實(shí)時(shí)數(shù)據(jù)流（kafka 讀取)，另一個(gè)是配置流。由于配置流是從關(guān)系型數(shù)據(jù)庫中讀取，速度較慢，導(dǎo)致實(shí)時(shí)數(shù)據(jù)流流入數(shù)據(jù)的時(shí)候，配置信息還未發(fā)送，這樣會導(dǎo)致有些實(shí)時(shí)數(shù)據(jù)讀取不到配置信息。目前采取的措施是在connect方法后的flatmap的實(shí)現(xiàn)的在open 方法中，提前加載一次配置信息，感覺這種實(shí)現(xiàn)方式不友好，請問還有其他的實(shí)現(xiàn)方式嗎？

24、Flink能通過oozie或者azkaban提交嗎？

25、不采用yarm部署flink，還有其他的方案嗎？ 主要想解決服務(wù)器重啟后，flink服務(wù)怎么自動(dòng)拉起？ jobmanager掛掉后，提交的job怎么不經(jīng)過手動(dòng)重新提交執(zhí)行？

26、在一個(gè) Job 里將同份數(shù)據(jù)昨晚清洗操作后，sink 到后端多個(gè)地方（看業(yè)務(wù)需求），如何保持一致性？（一個(gè)sink出錯(cuò)，另外的也保證不能插入）

27、flink sql任務(wù)在某個(gè)特定階段會發(fā)生tm和jm丟失心跳，是不是由于gc時(shí)間過長呢，

28、有這樣一個(gè)需求，統(tǒng)計(jì)用戶近兩周進(jìn)入產(chǎn)品詳情頁的來源（1首頁大搜索，2產(chǎn)品頻道搜索，3其他），為php后端提供數(shù)據(jù)支持，該信息在端上報(bào)事件中，php直接獲取有點(diǎn)困難。 我現(xiàn)在的解決方案 通過flink滾動(dòng)窗口（半小時(shí)），統(tǒng)計(jì)用戶半小時(shí)內(nèi)3個(gè)來源pv，然后按照日期序列化，直接寫mysql。php從數(shù)據(jù)庫中解析出來，再去統(tǒng)計(jì)近兩周占比。 問題1，這個(gè)需求適合用flink去做嗎？ 問題2，我的方案總感覺怪怪的，有沒有好的方案？

29、一個(gè)task slot 只能同時(shí)運(yùn)行一個(gè)任務(wù)還是多個(gè)任務(wù)呢？如果task slot運(yùn)行的任務(wù)比較大，會出現(xiàn)OOM的情況嗎？

30、你們怎么對線上flink做監(jiān)控的，如果整個(gè)程序失敗了怎么自動(dòng)重啟等等

31、flink cep規(guī)則動(dòng)態(tài)解析有接觸嗎？有沒有成型的框架？

32、每一個(gè)Window都有一個(gè)watermark嗎？window是怎么根據(jù)watermark進(jìn)行觸發(fā)或者銷毀的？

33、 CheckPoint與SavePoint的區(qū)別是什么？

34、flink可以在算子中共享狀態(tài)嗎？或者大佬你有什么方法可以共享狀態(tài)的呢？

35、運(yùn)行幾分鐘就報(bào)了，看taskmager日志，報(bào)的是 failed elasticsearch bulk request null，可是我代碼里面已經(jīng)做過空值判斷了呀 而且也過濾掉了，flink版本1.7.2 es版本6.3.1

36、這種情況，我們調(diào)并行度 還是配置參數(shù)好

37、大家都用jdbc寫，各種數(shù)據(jù)庫增刪查改拼sql有沒有覺得很累，ps.set代碼一大堆，還要計(jì)算每個(gè)參數(shù)的位置

38、關(guān)于datasource的配置，每個(gè)taskmanager對應(yīng)一個(gè)datasource?還是每個(gè)slot? 實(shí)際運(yùn)行下來，每個(gè)slot中datasorce線程池只要設(shè)置1就行了，多了也用不到?

39、kafka現(xiàn)在每天出現(xiàn)數(shù)據(jù)丟失，現(xiàn)在小批量數(shù)據(jù)，一天200W左右, kafka版本為 1.0.0，集群總共7個(gè)節(jié)點(diǎn)，TOPIC有十六個(gè)分區(qū)，單條報(bào)文1.5k左右

40、根據(jù)key.hash的絕對值 對并發(fā)度求模，進(jìn)行分組，假設(shè)10各并發(fā)度，實(shí)際只有8個(gè)分區(qū)有處理數(shù)據(jù)，有2個(gè)始終不處理，還有一個(gè)分區(qū)處理的數(shù)據(jù)是其他的三倍，如截圖

41、flink每7小時(shí)不知道在處理什么， CPU 負(fù)載 每7小時(shí)，有一次高峰，5分鐘內(nèi)平均負(fù)載超過0.8，如截圖

42、有沒有Flink寫的項(xiàng)目推薦？我想看到用Flink寫的整體項(xiàng)目是怎么組織的，不單單是一個(gè)單例子

43、Flink 源碼的結(jié)構(gòu)圖

44、我想根據(jù)不同業(yè)務(wù)表（case when）進(jìn)行不同的redis sink（hash ，set），我要如何操作？

45、這個(gè)需要清理什么數(shù)據(jù)呀，我把hdfs里面的已經(jīng)清理了 啟動(dòng)還是報(bào)這個(gè)

46、 在流處理系統(tǒng)，在機(jī)器發(fā)生故障恢復(fù)之后，什么情況消息最多會被處理一次？什么情況消息最少會被處理一次呢？

47、我檢查點(diǎn)都調(diào)到5分鐘了，這是什么問題

48、reduce方法后 那個(gè)交易時(shí)間 怎么不是最新的，是第一次進(jìn)入的那個(gè)時(shí)間，

49、Flink on Yarn 模式，用yarn session腳本啟動(dòng)的時(shí)候，我在后臺沒有看到到Jobmanager，TaskManager，ApplicationMaster這幾個(gè)進(jìn)程，想請問一下這是什么原因呢？因?yàn)橹翱垂倬W(wǎng)的時(shí)候，說Jobmanager就是一個(gè)jvm進(jìn)程，Taskmanage也是一個(gè)JVM進(jìn)程

50、Flink on Yarn的時(shí)候得指定 多少個(gè)TaskManager和每個(gè)TaskManager slot去運(yùn)行任務(wù)，這樣做感覺不太合理，因?yàn)橛脩粢膊恢佬枰嗌賯€(gè)TaskManager適合，F(xiàn)link 有動(dòng)態(tài)啟動(dòng)TaskManager的機(jī)制嗎。

51、參考這個(gè)例子，F(xiàn)link 零基礎(chǔ)實(shí)戰(zhàn)教程：如何計(jì)算實(shí)時(shí)熱門商品 | Jark"s Blog， 窗口聚合的時(shí)候，用keywindow，用的是timeWindowAll，然后在aggregate的時(shí)候用aggregate(new CustomAggregateFunction(), new CustomWindowFunction())，打印結(jié)果后，發(fā)現(xiàn)窗口中一直使用的重復(fù)的數(shù)據(jù)，統(tǒng)計(jì)的結(jié)果也不變，去掉CustomWindowFunction()就正常了 ？ 非常奇怪

52、用戶進(jìn)入產(chǎn)品預(yù)定頁面（端埋點(diǎn)上報(bào)），并填寫了一些信息（端埋點(diǎn)上報(bào)），但半小時(shí)內(nèi)并沒有產(chǎn)生任何訂單，然后給該類用戶發(fā)送一個(gè)push。 1. 這種需求適合用flink去做嗎？2. 如果適合，說下大概的思路

53、業(yè)務(wù)場景是實(shí)時(shí)獲取數(shù)據(jù)存redis，請問我要如何按天、按周、按月分別存入redis里？（比方說過了一天自動(dòng)換一個(gè)位置存redis）

54、有人 AggregatingState 的例子嗎, 感覺官方的例子和 官網(wǎng)的不太一樣?

55、flink-jdbc這個(gè)jar有嗎？怎么沒找到啊？1.8.0的沒找到，1.6.2的有

56、現(xiàn)有個(gè)關(guān)于savepoint的問題，操作流程為，取消任務(wù)時(shí)設(shè)置保存點(diǎn)，更新任務(wù)，從保存點(diǎn)啟動(dòng)任務(wù)；現(xiàn)在遇到個(gè)問題，假設(shè)我中間某個(gè)算子重寫，原先通過state編寫，有用定時(shí)器，現(xiàn)在更改后，采用窗口，反正就是實(shí)現(xiàn)方式完全不一樣；從保存點(diǎn)啟動(dòng)就會一直報(bào)錯(cuò)，重啟，原先的保存點(diǎn)不能還原，此時(shí)就會有很多數(shù)據(jù)重復(fù)等各種問題，如何才能保證數(shù)據(jù)不丟失，不重復(fù)等，恢復(fù)到停止的時(shí)候，現(xiàn)在想到的是記下kafka的偏移量，再做處理，貌似也不是很好弄，有什么解決辦法嗎

57、需要在flink計(jì)算app頁面訪問時(shí)長，消費(fèi)Kafka計(jì)算后輸出到Kafka。第一條log需要等待第二條log的時(shí)間戳計(jì)算訪問時(shí)長。我想問的是，flink是分布式的，那么它能否保證執(zhí)行的順序性？后來的數(shù)據(jù)有沒有可能先被執(zhí)行？

58、我公司想做實(shí)時(shí)大屏，現(xiàn)有技術(shù)是將業(yè)務(wù)所需指標(biāo)實(shí)時(shí)用spark拉到redis里存著，然后再用一條spark streaming流計(jì)算簡單乘除運(yùn)算，指標(biāo)包含了各月份的比較。請問我該如何用flink簡化上述流程？

59、flink on yarn 方式，這樣理解不知道對不對，yarn-session這個(gè)腳本其實(shí)就是準(zhǔn)備yarn環(huán)境的，執(zhí)行run任務(wù)的時(shí)候，根據(jù)yarn-session初始化的yarnDescription 把 flink 任務(wù)的jobGraph提交到y(tǒng)arn上去執(zhí)行

60、同樣的代碼邏輯寫在多帶帶的main函數(shù)中就可以成功的消費(fèi)kafka ，寫在一個(gè)spring boot的程序中，接受外部請求，然后執(zhí)行相同的邏輯就不能消費(fèi)kafka。你遇到過嗎？能給一些查問題的建議，或者在哪里打個(gè)斷點(diǎn)，能看到為什么消費(fèi)不到kafka的消息呢？

61、請問下flink可以實(shí)現(xiàn)一個(gè)流中同時(shí)存在訂單表和訂單商品表的數(shù)據(jù) 兩者是一對多的關(guān)系 能實(shí)現(xiàn)得到 以訂單表為主 一個(gè)訂單多個(gè)商品 這種需求嘛

62、在用中間狀態(tài)的時(shí)候，如果中間一些信息保存在state中，有沒有必要在redis中再保存一份，來做第三方的存儲。

63、能否出一期flink state的文章。什么場景下用什么樣的state？如，最簡單的，實(shí)時(shí)累加update到state。

64、flink的雙流join博主有使用的經(jīng)驗(yàn)嗎？會有什么常見的問題嗎

65、窗口觸發(fā)的條件問題

66、flink 定時(shí)任務(wù)怎么做？有相關(guān)的demo么？

67、流式處理過程中數(shù)據(jù)的一致性如何保證或者如何檢測

68、重啟flink單機(jī)集群，還報(bào)job not found 異常。

69、kafka的數(shù)據(jù)是用 org.apache.kafka.common.serialization.ByteArraySerialize序列化的，flink這邊消費(fèi)的時(shí)候怎么通過FlinkKafkaConsumer創(chuàng)建DataStream？

70、現(xiàn)在公司有一個(gè)需求，一些用戶的支付日志，通過sls收集，要把這些日志處理后，結(jié)果寫入到MySQL，關(guān)鍵這些日志可能連著來好幾條才是一個(gè)用戶的，因?yàn)榘l(fā)起請求，響應(yīng)等每個(gè)環(huán)節(jié)都有相應(yīng)的日志，這幾條日志綜合處理才能得到最終的結(jié)果，請問博主有什么好的方法沒有？

71、flink 支持hadoop 主備么？ hadoop主節(jié)點(diǎn)掛了 flink 會切換到hadoop 備用節(jié)點(diǎn)？

72、請教大家: 實(shí)際 flink 開發(fā)中用 scala 多還是 java多些？ 剛?cè)胧?flink 大數(shù)據(jù) scala 需要深入學(xué)習(xí)么？

73、我使用的是flink是1.7.2最近用了split的方式分流，但是底層的SplitStream上卻標(biāo)注為Deprecated，請問是官方不推薦使用分流的方式嗎？

74、KeyBy 的正確理解，和數(shù)據(jù)傾斜問題的解釋

75、用flink時(shí)，遇到個(gè)問題 checkpoint大概有2G左右， 有背壓時(shí)，flink會重啟有遇到過這個(gè)問題嗎

76、flink使用yarn-session方式部署，如何保證yarn-session的穩(wěn)定性，如果yarn-session掛了，需要重新部署一個(gè)yarn-session，如何恢復(fù)之前yarn-session上的job呢，之前的checkpoint還能使用嗎？

77、我想請教一下關(guān)于sink的問題。我現(xiàn)在的需求是從Kafka消費(fèi)Json數(shù)據(jù)，這個(gè)Json數(shù)據(jù)字段可能會增加，然后將拿到的json數(shù)據(jù)以parquet的格式存入hdfs。現(xiàn)在我可以拿到j(luò)son數(shù)據(jù)的schema，但是在保存parquet文件的時(shí)候不知道怎么處理。一是flink沒有專門的format parquet，二是對于可變字段的Json怎么處理成parquet比較合適？

78、flink如何在較大的數(shù)據(jù)量中做去重計(jì)算。

79、flink能在沒有數(shù)據(jù)的時(shí)候也定時(shí)執(zhí)行算子嗎？

80、使用rocksdb狀態(tài)后端，自定義pojo怎么實(shí)現(xiàn)序列化和反序列化的，有相關(guān)demo么？

81、check point 老是失敗，是不是自定義的pojo問題？到本地可以，到hdfs就不行，網(wǎng)上也有很多類似的問題 都沒有一個(gè)很好的解釋和解決方案

82、cep規(guī)則如圖，當(dāng)start事件進(jìn)入時(shí)，時(shí)間00:00:15，而后進(jìn)入end事件，時(shí)間00:00:40。我發(fā)現(xiàn)規(guī)則無法命中。請問within 是從start事件開始計(jì)時(shí)？還是跟window一樣根據(jù)系統(tǒng)時(shí)間劃分的？如果是后者，請問怎么配置才能從start開始計(jì)時(shí)？

83、Flink聚合結(jié)果直接寫Mysql的冪等性設(shè)計(jì)問題

84、Flink job打開了checkpoint，用的rocksdb，通過觀察hdfs上checkpoint目錄，為啥算副本總量會暴增爆減

85、[Flink 提交任務(wù)的 jar包可以指定路徑為 HDFS 上的嗎]()

86、在flink web Ui上提交的任務(wù)，設(shè)置的并行度為2，flink是stand alone部署的。兩個(gè)任務(wù)都正常的運(yùn)行了幾天了，今天有個(gè)地方邏輯需要修改，于是將任務(wù)cancel掉(在命令行cancel也試了)，結(jié)果taskmanger掛掉了一個(gè)節(jié)點(diǎn)。后來用其他任務(wù)試了，也同樣會導(dǎo)致節(jié)點(diǎn)掛掉

87、一個(gè)配置動(dòng)態(tài)更新的問題折騰好久（配置用個(gè)靜態(tài)的map變量存著，有個(gè)線程定時(shí)去數(shù)據(jù)庫撈數(shù)據(jù)然后存在這個(gè)map里面更新一把），本地 idea 調(diào)試沒問題，集群部署就一直報(bào) 空指針異常。下游的算子使用這個(gè)靜態(tài)變量map去get key在集群模式下會出現(xiàn)這個(gè)空指針異常，估計(jì)就是拿不到 map

88、批量寫入MySQL，完成HBase批量寫入

89、用flink清洗數(shù)據(jù)，其中要訪問redis，根據(jù)redis的結(jié)果來決定是否把數(shù)據(jù)傳遞到下流，這有可能實(shí)現(xiàn)嗎？

90、監(jiān)控頁面流處理的時(shí)候這個(gè)發(fā)送和接收字節(jié)為0。

91、[sink到MySQL，如果直接用idea的話可以運(yùn)行，并且成功，大大的代碼上面用的FlinkKafkaConsumer010，而我的Flink版本為1.7，kafka版本為2.12，所以當(dāng)我用FlinkKafkaConsumer010就有問題，于是改為

FlinkKafkaConsumer就可以直接在idea完成sink到MySQL，但是為何當(dāng)我把該程序打成Jar包，去運(yùn)行的時(shí)候，就是報(bào)FlinkKafkaConsumer找不到呢](https://t.zsxq.com/MN7iuZf)

92、SocketTextStreamWordCount中輸入中文統(tǒng)計(jì)不出來，請問這個(gè)怎么解決，我猜測應(yīng)該是需要修改一下代碼，應(yīng)該是這個(gè)例子默認(rèn)統(tǒng)計(jì)英文

93、 Flink 應(yīng)用程序本地 ide 里面運(yùn)行的時(shí)候并行度是怎么算的？

等等等，還有很多，復(fù)制粘貼的我手累啊