資訊專欄INFORMATION COLUMN
摘要：更壞的，事件可能偶爾丟失，這將導致標題不能上線，知道某一個標題運營人員發(fā)現(xiàn)可能有問題。
原文 https://medium.com/netflix-te...
本文介紹了了內(nèi)容配置工程團隊使用Hollow，一個Netflix OSS技術，重新架構與簡化我們內(nèi)容管道上的基礎組件 - 在流程中交付巨大業(yè)務價值。
上下文每個在Netflix服務上的電影和秀都被精心處理以提供最佳的觀看體驗。團隊對處理主要負責標題運營(Title Operation)。標題運營會確認，除了：
我們確保合同符合規(guī)范 - 我們?yōu)槊總€標題配置的視頻日期時間段與位置是正確的。
視頻的標題，字幕，第二音軌都被翻譯并被正確分發(fā)到世界各地。
標題名與概要都可用并被翻譯。
每個國家都有合適的觀影等級
當標題達到了以上需求的最低要求，它就可以發(fā)布到服務上上線。Gatekeeper是在Netflix負責評估網(wǎng)站上視頻和資產(chǎn)的“活躍度”。在Gatekeeper批準前標題對于會員是不可見的 - 如果它驗證不了設置，它會指出從客戶體驗基線上缺了什么來輔助標題運營(Title Operation)。
Gatekeeper通過聚合多個上游系統(tǒng)的數(shù)據(jù)來完成預處理任務，使用合適的業(yè)務邏輯，生產(chǎn)和輸出每個國家每個視頻的詳細狀態(tài)。
技術Hollow, 是我們幾年前發(fā)布的OSS技術。并被描述為一種靠近緩存的全高密度(total high-density near cache)技術：
全：在每個節(jié)點上都緩存著這個數(shù)據(jù)集 - 沒有驅(qū)逐策略，沒有緩存命中丟失。
高密度：編碼，解碼，反重復技術都被用來數(shù)據(jù)集上的內(nèi)存指紋。
靠近：在每個需要存取數(shù)據(jù)集的實例上都有RAM上的緩存。
對于這個全(total)技術有一個令人興奮的內(nèi)容 - 因為我們不需要擔心清除內(nèi)存中的數(shù)據(jù)項，我們可以對內(nèi)存中的數(shù)據(jù)集展示做一些假設與預計算，沒有這個特性是不可能的。結(jié)果是，對許多數(shù)據(jù)集，提高了很大的內(nèi)存使用效率。而在傳統(tǒng)的部分緩存方案上你可能會想是否你只緩存了5%的數(shù)據(jù)集，或者你需要被10%保留足夠的空間用來得到一個可接受的命中/丟失率 - 使用同樣的內(nèi)存Hollow可以緩存100%的數(shù)據(jù)集數(shù)據(jù)并得到100%的命中率。
很明顯，如果你有100%的命中率，你可以消除所有訪問你數(shù)據(jù)的IO需求 - 并可以更有效的提高數(shù)據(jù)訪問效率，可以開啟更多可能性。
現(xiàn)狀在不久以前，Gatekeeper是一個完全的事件驅(qū)動系統(tǒng)。當任何上游系統(tǒng)對視頻有改動，系統(tǒng)會發(fā)送給Gatekeeper發(fā)送一個事件。Gatekeeper會對那條事件進行響應，進入每一個它的上游服務，收集必要的輸入數(shù)據(jù)來評估視頻與它的對應資產(chǎn)的活躍性。它會產(chǎn)生一條輸出記錄來輸出這條視頻的詳細狀態(tài)。
這個模型有一些相關的問題：
這個進程完全與IO綁定，并對上游系統(tǒng)產(chǎn)生了很大的負載。
因此，這些事件會將一天的吞吐隊列化并產(chǎn)生處理的延遲，導致標題的處理不能及時的上線。
更壞的，事件可能偶爾丟失，這將導致標題不能上線，知道某一個標題運營人員發(fā)現(xiàn)可能有問題。
為了減輕這些問題可以“清掃”目錄讓視頻可以匹配特定的查詢條件(比如，計劃下周上線)可以讓事件自動注入到處理隊列中。不幸的是，這種方式會往隊列中增加更多的事件，會使問題更加惡化。
很明顯，很有必要改變方向。
本文來自微信公眾號「麥芽面包，id「darkjune_think」
轉(zhuǎn)載請注明。微信掃一掃關注公眾號。
交流Email: zhukunrong@yeah.net
文章版權歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://specialneedsforspecialkids.com/yun/76043.html
摘要：相對于對事件進行響應，會以一個重復的周期從遍布全世界的視頻數(shù)據(jù)中持續(xù)的處理活躍性數(shù)據(jù)。作為一個數(shù)據(jù)一直在變化的數(shù)據(jù)集，通過將變更分成一系列的時間線的數(shù)據(jù)狀態(tài)并將變更發(fā)送給消費方。傳統(tǒng)產(chǎn)生數(shù)據(jù)狀態(tài)的方式是維護一個運行重復周期的生產(chǎn)者。 原文: https://medium.com/netflix-te... 想法 我們決定部署一個全高密度近場緩存(Hollow)來解決我們的IO瓶頸。對...
摘要：但即使這兩件事結(jié)合起來，我們也無法直接訪問和操縱這些像素。實際上，我們可以從視頻本身將圖像繪制到，這使我們能夠操作和展示這些像素。您甚至可以在不使用圖像或視頻的情況下即時創(chuàng)建效果 現(xiàn)代瀏覽器支持通過元素播放視頻。大多數(shù)瀏覽器也可以通過MediaDevices.getUserMedia() API訪問攝像頭。但即使這兩件事結(jié)合起來，我們也無法直接訪問和操縱這些像素。 幸運的是，瀏覽器有一...
摘要：但即使這兩件事結(jié)合起來，我們也無法直接訪問和操縱這些像素。實際上，我們可以從視頻本身將圖像繪制到，這使我們能夠操作和展示這些像素。您甚至可以在不使用圖像或視頻的情況下即時創(chuàng)建效果 現(xiàn)代瀏覽器支持通過元素播放視頻。大多數(shù)瀏覽器也可以通過MediaDevices.getUserMedia() API訪問攝像頭。但即使這兩件事結(jié)合起來，我們也無法直接訪問和操縱這些像素。 幸運的是，瀏覽器有一...
摘要：但即使這兩件事結(jié)合起來，我們也無法直接訪問和操縱這些像素。實際上，我們可以從視頻本身將圖像繪制到，這使我們能夠操作和展示這些像素。您甚至可以在不使用圖像或視頻的情況下即時創(chuàng)建效果 現(xiàn)代瀏覽器支持通過元素播放視頻。大多數(shù)瀏覽器也可以通過MediaDevices.getUserMedia() API訪問攝像頭。但即使這兩件事結(jié)合起來，我們也無法直接訪問和操縱這些像素。 幸運的是，瀏覽器有一...
閱讀 3881·2021-11-24 11:14
閱讀 3321·2021-11-22 13:53
閱讀 3883·2021-11-11 16:54
閱讀 1546·2021-10-13 09:49
閱讀 1211·2021-10-08 10:05
閱讀 3392·2021-09-22 15:57
閱讀 1754·2021-08-16 11:01
閱讀 965·2019-08-30 15:55
