海量數據去重精品文章

• 

  用Python寫了個檢測文章抄襲，詳談去重算法原理

  ...搜索引擎非常關心的一個問題。搜索引擎中抓取的網頁是海量的，海量文本的去重算法也出現了很多，比如minihash, simhash等等。 在工程實踐中，對simhash使用了很長一段時間，有些缺點，一是算法比較復雜、效率較差；二是準確...

  blair 2019-07-31 10:32 評論0 收藏0
• 

  自研實時計算模塊介紹及運維數據應用場景實施

  ...指標數量是與枚舉值的數量一樣多的，也就是可能會產生海量指標數據，對實時計算和下游的傳輸、最后的存儲都帶來巨大壓力。所以在使用時需要特別慎重考慮，提前規劃。舉個例子，統計一個應用集群中的服務調用的分別占...

  不知名網友 2023-01-11 11:02 評論0 收藏2564
• 

  scrapy-redis分布式爬蟲框架詳解

  ...的重要載體之一。 相比較而言，編寫爬蟲程序獲取到的海量數據更為真實、全面，在信息繁榮的互聯網時代更為行之有效。因此編寫爬蟲程序成為大數據時代信息收集的必備技能。 本文主要介紹爬蟲收集數據優點、爬蟲原理、s...

  myeveryheart 2019-07-30 16:09 評論0 收藏0
• 

  探索Greenplum的實踐，了解新一代大數據處理利器

  前言：近年來，互聯網的快速發展積累了海量大數據，而在這些大數據的處理上，不同技術棧所具備的性能也有所不同，如何快速有效地處理這些龐大的數據倉，成為很多運營者為之苦惱的問題！隨著Greenplum的異軍突起，以...

  supernavy 2019-08-23 12:03 評論0 收藏0
• 

  TOP100summit：【分享實錄-封宇】58到家多端消息整合之路

  ...接入層，主要功能包括：● 連接整流：維護與客戶端的海量TCP長連接，將外界海量TCP長連接整流為少量與后端msg-logic的TCP長連接。● 安全信道：建立安全的TCP信道，加密與解密。● 初步攻防：實施初步的anti-attack策略，限速策...

  googollee 2019-06-24 17:53 評論0 收藏0
• 

  一名【合格】前端工程師的自檢清單

  ...器EventLoop的差異 7.如何在保證頁面運行流暢的情況下處理海量數據 語法和API 1.理解ECMAScript和JavaScript的關系 2.熟練運用es5、es6提供的語法規范， 3.熟練掌握JavaScript提供的全局對象（例如Date、Math）、全局函數（例如decodeURI、isNa...

  羅志環 2019-08-23 17:08 評論0 收藏0
• 

  一名【合格】前端工程師的自檢清單

  ...EventLoop的差異 7.如何在保證頁面運行流暢的情況下處理海量數據 語法和API 1.理解ECMAScript和JavaScript的關系 2.熟練運用es5、es6提供的語法規范， 3.熟練掌握JavaScript提供的全局對象（例如Date、Math）、全局函數（例如decodeURI...

  isaced 2019-05-21 19:50 評論0 收藏0
• 

  達摩院首席數據庫科學家李飛飛：云原生新戰場，我們如何把握先機？

  ...了100%的 CAP。 云原生數據庫 POLARDB：極致彈性+兼容性 為海量數據和海量并發而生 前面介紹了數據庫市場背景和云原生數據庫的基本要素，接下來我將結合阿里云 POLARDB 以及 AnalyticDB 兩款數據庫系統，分享以上技術的具體落地情...

  frolc 2019-06-25 19:19 評論0 收藏0