摘要：通過狀態(tài)演變，可以在狀態(tài)模式中添加或刪除列，以便更改應(yīng)用程序部署后應(yīng)捕獲的業(yè)務(wù)功能。本地恢復(fù)通過擴(kuò)展的調(diào)度來完成本地恢復(fù)功能，以便在恢復(fù)時考慮先前的部署位置。此功能大大提高了恢復(fù)速度。

問題導(dǎo)讀

1．Flink1．7開始支持Scala哪個版本？

2．Flink1．7狀態(tài)演變在實際生產(chǎn)中有什么好處？

3．支持SQL／Table API中的富集連接可以做那些事情？

4．Flink1．7新增了哪些連接器

Apache Flink社區(qū)宣布Apache Flink 1．7．0發(fā)布。 最新版本包括超過420個已解決的問題以及Flink的一些新增內(nèi)容，About云將在本文的以下部分中對其進(jìn)行描述。

一、概述

在Flink 1．7．0中，更接近實現(xiàn)快速數(shù)據(jù)處理和以無縫方式為Flink社區(qū)實現(xiàn)構(gòu)建數(shù)據(jù)密集型應(yīng)用程序的目標(biāo)。 最新版本包括一些新功能和改進(jìn)，例如對Scala 2．12的支持， exactly－once S3文件sink，復(fù)雜事件處理與流SQL的集成，下面有更多功能。

二、新功能和改進(jìn)

1．Flink支持Scala 2．12：

Apache Flink 1．7．0是第一個完全支持Scala 2．12的版本。 這允許用戶使用較新的Scala版本編寫Flink應(yīng)用程序，并利用Scala 2．12生態(tài)系統(tǒng)。

2．支持狀態(tài)演變

在許多情況下，由于需求的變化，長期運(yùn)行的Flink應(yīng)用程序需要在其生命周期內(nèi)變化。在不丟失當(dāng)前應(yīng)用程序進(jìn)度的狀態(tài)下更改用戶狀態(tài)是應(yīng)用程序發(fā)展的關(guān)鍵要求。

通過Flink 1．7．0，社區(qū)添加了狀態(tài)演變，允許靈活地調(diào)整長時間運(yùn)行的應(yīng)用程序的用戶狀態(tài)模式，同時保持與先前保存點的兼容性。通過狀態(tài)演變，可以在狀態(tài)模式中添加或刪除列，以便更改應(yīng)用程序部署后應(yīng)捕獲的業(yè)務(wù)功能。

當(dāng)使用Avro生成的類作為用戶狀態(tài)時，狀態(tài)模式演變現(xiàn)在可以開箱即用，這意味著狀態(tài)模式可以根據(jù)Avro的規(guī)范

進(jìn)行演變。雖然Avro類型是Flink 1．7中唯一支持模式演變的內(nèi)置類型，但社區(qū)在未來的Flink版本中進(jìn)一步擴(kuò)展對其他類型的支持。

3．S3 StreamingFileSink實現(xiàn)Exactly－once

Flink 1．6．0中引入的StreamingFileSink現(xiàn)在已經(jīng)擴(kuò)展到支持寫入S3文件系統(tǒng)，只需一次處理保證。 使用此功能允許用戶構(gòu)建寫入S3的一次性端到端管道。

4．Streaming SQL支持MATCH＿RECOGNIZE

這是Apache Flink 1．7．0的一個重要補(bǔ)充，它為Flink SQL提供了MATCH＿RECOGNIZE標(biāo)準(zhǔn)的初始支持。 此功能結(jié)合了復(fù)雜事件處理（CEP）和SQL，可以輕松地在數(shù)據(jù)流上進(jìn)行模式匹配，從而實現(xiàn)一整套新的用例。【此功能處于測試階段】

5．支持Flink SQL ／ Table API中的富集連接

時態(tài)（Temporal ）表是Apache Flink中的一個新概念，它為表的更改歷史提供（參數(shù)化）視圖，并在特定時間點返回表的內(nèi)容。

例如，我們可以使用具有歷史貨幣匯率的表格。 隨著時間的推移，這種表格不斷增長／變化，并且增加了新的更新匯率。 時態(tài)（Temporal ）表是一種視圖，可以將這些匯率的實際狀態(tài)返回到任何給定的時間點。 使用這樣的表格，可以使用正確的匯率將不同貨幣的訂單流轉(zhuǎn)換為通用貨幣。

Temporal Joins允許使用處理時間或事件時間，在符合ANSI SQL的情況下，使用不斷變化／更新的表來進(jìn)行內(nèi)存和計算效率的Streaming數(shù)據(jù)連接。

6．流式SQL的其他功能

除了上面提到的主要功能外，F(xiàn)link的Table＆SQL API已經(jīng)擴(kuò)展到更多用例。

API中添加了以下內(nèi)置函數(shù)：TO＿BASE64，LOG2，LTRIM，REPEAT，REPLACE，COSH，SINH，TANH
SQL Client現(xiàn)在支持在環(huán)境文件和CLI會話中定義視圖。 此外，CLI中還添加了基本的SQL語句自動完成功能。

社區(qū)添加了一個 Elasticsearch 6 table sink，它允許存儲動態(tài)表的更新結(jié)果。

7．版本化REST API

從Flink 1．7．0開始，REST API已經(jīng)版本化。 這保證了Flink REST API的穩(wěn)定性，因此可以在Flink中針對穩(wěn)定的API開發(fā)第三方應(yīng)用程序。 因此，未來的Flink升級不需要更改現(xiàn)有的第三方集成。

8．Kafka 2．0連接器
Apache Flink 1．7．0繼續(xù)添加更多連接器（Connector ），使其更容易與更多外部系統(tǒng)進(jìn)行交互。 在此版本中，社區(qū)添加了Kafka 2．0連接器，該連接器允許通過一次性保證讀取和寫入Kafka 2．0。

9．本地恢復(fù)

Apache Flink 1．7．0通過擴(kuò)展Flink的調(diào)度來完成本地恢復(fù)功能，以便在恢復(fù)時考慮先前的部署位置。

如果啟用了本地恢復(fù)，F(xiàn)link將在運(yùn)行任務(wù)的計算機(jī)上保留最新檢查點的本地副本。 通過將任務(wù)調(diào)度到以前的位置，F(xiàn)link將通過從本地磁盤讀取檢查點狀態(tài)來最小化恢復(fù)狀態(tài)的網(wǎng)絡(luò)流量。 此功能大大提高了恢復(fù)速度。

10．刪除Flink的傳統(tǒng)模式

Apache Flink 1．7．0標(biāo)志著Flip－6工作已完全完成并且與傳統(tǒng)模式達(dá)到功能奇偶校驗的版本。 因此，此版本刪除了對傳統(tǒng)模式的支持。如果想使用傳統(tǒng)模式，可以使用Flink1．6．