国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

Re-Architecting the Video Gatekeeper(二)

seal_de / 2226人閱讀

摘要：相對于對事件進行響應，會以一個重復的周期從遍布全世界的視頻數據中持續的處理活躍性數據。作為一個數據一直在變化的數據集，通過將變更分成一系列的時間線的數據狀態并將變更發送給消費方。傳統產生數據狀態的方式是維護一個運行重復周期的生產者。

原文: https://medium.com/netflix-te...
想法

我們決定部署一個全高密度近場緩存(Hollow)來解決我們的IO瓶頸。對于我們的每個上游系統，我們要建一個能讓Gatekeeper執行這次評估的包括所有數據的Hollow數據集。每個上游系統現在都需要保證它的緩存保持最新。

使用這個模型，活躍性評估將數據從上游系統中隔離出來了。相對于對事件進行響應，Gatekeeper會以一個重復的周期從遍布全世界的視頻數據中持續的處理活躍性數據。迭代周期從Netflix的每個視頻上線開始，計算它們的活躍性信息。在每個周期的結束，它產出一個經過計算的表示全世界所有視頻的活躍性明細信息的輸出(包括Hollow數據集)。

我們希望這個持續處理模型是可行的，這樣我們可以徹底移除我們IO上的瓶頸，可以保證操作順序更有效。我們也期望通過遷移到這個模型，我們可以對業務產生更正面的影響。

作為對Gatekeeper對上游系統產生的過大的負載的最終解決方案

徹底消除活躍性處理的延遲和錯過上線日期的問題。

緩解內容配置工程團隊在性能相關問題的時間消耗。

改進活躍性處理的可調試性和可見性

問題

Hollow可以被想象為一個時間機器。作為一個數據一直在變化的數據集，通過將變更分成一系列的時間線的數據狀態并將變更發送給消費方。每份數據狀態都表示為整個數據集在當時時刻的一份快照。

通常，Hollow數據集的消費者將加載的最新的數據狀態并將產生的新狀態保存到他們的混存中。當然，它們可能會將狀態替換到之前的樣子 - 導致將整個數據集指向之前的一個狀態。

傳統產生數據狀態的方式是維護一個運行重復周期的生產者。在一個周期中，生產者從元數據中迭代所有記錄。在迭代中，它對Hollow庫中增加每條數據。Hollow則在之后計算數據的變化并在最后的周期將數據填加上去，將數據狀態發布到一個已知地址的消費者。

這個基于真實數據源的迭代模型的問題是它可能會需要很長時間。在這個場景中一些我們的上游系統，這需要幾小時。數據傳播延遲是不可接受的 - 我們不能為活躍性處理等待幾個小時，比如，標題運營給電影增加了一個評級并需要立即發布上線。

改進

我們需要一個更快的時間機器 - 它可以更頻繁的產出狀態，讓消費方可以更快的識別到變化。

為了達到這個目標，我們建立了一套很強的Hollow基礎設施，平衡了之前Hollow library做的工作，與流處理團隊在Target生產環境做的先鋒性工作(現在是公開的非beta的API)

使用這套基礎設施，每次變更都可以在源應用中唄檢測到，更新過的記錄會被編碼并發送給Kafka topic。一個不屬于源應用的新組件，Hollow增量生產服務，以一個預定義的節奏執行一個重復周期。 在每個周期，它讀取自從上個周期所有增加到topic的消息，并讓Hollow狀態引擎反映出更新過的記錄的最新狀態。

如果一個Kafka topic中的消息包含了已經在Hollow數據集中已經反映出來的相同數據，不會有任何變動。

為了緩解丟失事件產生的影響，我們實現了一套周期性從整個數據集清掃的機制。當它執行時，它將每條記錄的內容發送給Kafka topic。通過這種方式，任何可能丟失的更新都會反映到Hollow數據集上。并且，這不是更新傳播到Hollow數據集上的主要方式，它不需要像傳統Hollow使用方式那樣很快很頻繁的在源上迭代運行。

Hollow增量生產者有從Kafka topic中讀取大量消息并快速轉變成Hollow狀態的能力 - 所以我們可以將這個周期配置的非常短(我們目前的缺省配置是30秒)。

這就是我們如何構建一個更快時間機器的方式。現在，如果標題運營給電影增加了一條評級，在30秒內，數據就可以在Hollow數據集上可用。

—

本文來自微信公眾號「麥芽面包，id「darkjune_think」
轉載請注明。微信掃一掃關注公眾號。
交流Email: zhukunrong@yeah.net

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/76285.html

相關文章

  • Re-Architecting the Video Gatekeeper(一)

    摘要：更壞的，事件可能偶爾丟失，這將導致標題不能上線，知道某一個標題運營人員發現可能有問題。 原文 https://medium.com/netflix-te... 本文介紹了了內容配置工程團隊使用Hollow，一個Netflix OSS技術，重新架構與簡化我們內容管道上的基礎組件 - 在流程中交付巨大業務價值。 上下文 每個在Netflix服務上的電影和秀都被精心處理以提供最佳的觀看體驗...

    Lorry_Lu 評論0 收藏0

  • svg與視頻結合的鏤空效果實踐總結

    摘要：關鍵詞動效多端兼容效果預覽截圖見附錄，在線地址實現小結想要說明的主要是兩點，一個是的運用，另一個是在移動端的兼容問題。單獨引用方法有如下這些移動端兼容問題，微信內置瀏覽器自動全屏的問題。處理方法是在標簽上加，微信內置瀏覽器不起作用問題。 關鍵詞：動效 svg video 多端兼容 效果預覽 截圖見附錄，在線地址 實現小結 想要說明的主要是兩點，一個是svg的運用，另一個是video在移...

    justjavac 評論0 收藏0

  • 使用Canvas操作像素

    摘要：但即使這兩件事結合起來，我們也無法直接訪問和操縱這些像素。實際上，我們可以從視頻本身將圖像繪制到，這使我們能夠操作和展示這些像素。您甚至可以在不使用圖像或視頻的情況下即時創建效果 現代瀏覽器支持通過元素播放視頻。大多數瀏覽器也可以通過MediaDevices.getUserMedia() API訪問攝像頭。但即使這兩件事結合起來，我們也無法直接訪問和操縱這些像素。 幸運的是，瀏覽器有一...

    Lsnsh 評論0 收藏0

  • 使用Canvas操作像素

    摘要：但即使這兩件事結合起來，我們也無法直接訪問和操縱這些像素。實際上，我們可以從視頻本身將圖像繪制到，這使我們能夠操作和展示這些像素。您甚至可以在不使用圖像或視頻的情況下即時創建效果 現代瀏覽器支持通過元素播放視頻。大多數瀏覽器也可以通過MediaDevices.getUserMedia() API訪問攝像頭。但即使這兩件事結合起來，我們也無法直接訪問和操縱這些像素。 幸運的是，瀏覽器有一...

    Nino 評論0 收藏0

發表評論

0條評論

最新活動
閱讀需要支付1元查看
<