摘要:簡述從字面上來理解就是兩個過程映射以及化簡。在映射化簡的過程都是每臺服務器自己的在運算,大量的服務器同時來進行運算工作,這就是大數據基本理念。映射操作輸出了鍵值對結果。在中,所有的映射化簡函數都是使用編寫,并且運行在進程中。
簡述
mapReduce從字面上來理解就是兩個過程:map映射以及reduce化簡。是一種比較先進的大數據處理方法,其難度不高,從性能上來說屬于比較暴力的(通過N臺服務器同時來計算),但相較于group以及aggregate來說,功能更強大,并更加靈活。
映射過程:先把某一類數據分組歸類,這里的映射過程是支持分布式的,一邊遍歷每一臺服務器,一邊進行分類。
化簡過程:然后再在分組中進行運算,這里的化簡過程也是支持分布式的,在分類的過程中直接運算了。也就是說如果是一個求和的過程,先在a服務器分組求和,然后再在b服務器分組求和····最后再把化簡以后的數據進行最終處理。在映射化簡的過程都是每臺服務器自己的CPU在運算,大量的服務器同時來進行運算工作,這就是大數據基本理念。
在這個映射化簡操作中,MongoDB對每個輸入文檔(例如集合中滿足查詢條件的文檔)執行了map操作。映射操作輸出了鍵值對結果。對那些有多個值的關鍵字,MongoDB執reduce操作,收集并壓縮了最終的聚合結果。然后MongoDB把結果保存到一個集合中。化簡函數還可以把結果輸出到finalize函數,進一步對聚合結果做處理,當然這步是可選的。
在MongoDB中,所有的映射化簡函數都是使用JavaScript編寫,并且運行在 mongod 進程中。映射化簡操作使用一個集合中文檔作為輸入,并且可以在映射階段之前執行任意的排序和限定操作。 mapReduce 命令可以把結果作為一個文檔來返回,也可以把結果寫入集合。輸入集合和輸出集合可以是分片的。
語法參數更多參考: http://docs.mongodb.org/manual/reference/command/mapReduce/
map: function() {emit(this.cat_id,this.goods_number); }, # 函數內部要調用內置的emit函數,cat_id代表根據cat_id來進行分組,goods_number代表把文檔中的goods_number字段映射到cat_id分組上的數據,其中this是指向向前的文檔的,這里的第二個參數可以是一個對象,如果是一個對象的話,也是作為數組的元素壓進數組里面; reduce: function(cat_id,all_goods_number) {return Array.sum(all_goods_number)}, # cat_id代表著cat_id當前的這一組,all_goods_number代表當前這一組的goods_number集合,這部分返回的就是結果中的value值; out:實例 簡單應用實例
# 求每組的庫存總量 var map = function(){ emit(this.cat_id,this.goods_number); } var reduce = function(cat_id,numbers){ return Array.sum(numbers); } db.goods.mapReduce(map,reduce,{out:"res"}) # 查看Array支持的方法 for(var i in Array){ printjson(i); } "contains" "unique" "shuffle" "tojson" "fetchRefs" "sum" "avg" "stdDev" # 求每個欄目的平均價格 var map = function(){ emit(this.cat_id,this.shop_price); } var reduce = function(cat_id,prices){ var avgprice = Array.avg(prices); return Math.round(avgprice,2); } db.goods.mapReduce(map,reduce,{out:"res"}); # 求出每組的最大價格 var map = function(){ emit(this.cat_id,this.shop_price); } //錯誤操作 ↓↓ 應該在finalize函數中做處理 var reduce = function(cat_id,prices){ var max = 0; for(var i in prices){ if(i > max) max = i; } return max; } var reduce = function(cat_id,prices){ return {cat_id:cat_id,prices:prices}; } var finalize = function(cat_id, prices) { var max = 0; if(prices.prices !== null){ var obj = prices.prices; for(var i in obj){ if(obj[i] > max) max = obj[i] } } return max == 0 ? prices : max; } db.goods.mapReduce(map,reduce,{out:"res1",finalize:finalize,query:{"shop_price":{$gt:0}}}); # 獲得每組的商品集合 var map = function(){ emit(this.cat_id,this.goods_name); } var reduce = function(cat_id,goods_names){ return {cat_id:cat_id,goods_names:goods_names} } var finalize = function(key, reducedValue) { return reducedValue == null ? "none value" : reducedValue; //對reduce的值進行二次處理 } db.runCommand({ mapReduce:"goods", map:map, reduce:reduce, finalize:finalize, out:"res2" }) # 對于price大于100的才進行分組映射 ## 方法1: var map = function(){ if(this.shop_price > 100){ emit(this.cat_id,{name:this.goods_name,price:this.shop_price}); } } var reduce = function(cat_id,goods_names){ return {cat_id:cat_id,goods_names:goods_names} } db.runCommand({ mapReduce:"goods", map:map, reduce:reduce, out:"res2" }) ## 方法2 首推此方法 var map = function(){ emit(this.cat_id,{name:this.goods_name,price:this.shop_price}); } var reduce = function(cat_id,goods_names){ return {cat_id:cat_id,goods_names:goods_names} } db.runCommand({ mapReduce:"goods", map:map, reduce:reduce, query:{"shop_price":{$gt:100}}, out:"res2" })官網實例
# 數據結構 { _id: ObjectId("50a8240b927d5d8b5891743c"), cust_id: "abc123", ord_date: new Date("Oct 04, 2012"), status: "A", price: 25, items: [ { sku: "mmm", qty: 5, price: 2.5 }, { sku: "nnn", qty: 5, price: 2.5 } ] } # 計算每個顧客的總金額 var mapFunction1 = function() { emit(this.cust_id, this.price); }; var reduceFunction1 = function(keyCustId, valuesPrices) { return Array.sum(valuesPrices); }; db.orders.mapReduce( mapFunction1, reduceFunction1, { out: "map_reduce_example" } ) # 計算訂單總量和每種 sku 訂購量的平均值 var mapFunction2 = function() { for (var idx = 0; idx < this.items.length; idx++) { var key = this.items[idx].sku; var value = { count: 1, qty: this.items[idx].qty }; emit(key, value); } }; var reduceFunction2 = function(keySKU, countObjVals) { reducedVal = { count: 0, qty: 0 }; for (var idx = 0; idx < countObjVals.length; idx++) { reducedVal.count += countObjVals[idx].count; reducedVal.qty += countObjVals[idx].qty; } return reducedVal; }; var finalizeFunction2 = function (key, reducedVal) { reducedVal.avg = reducedVal.qty/reducedVal.count; return reducedVal; }; db.orders.mapReduce( mapFunction2, reduceFunction2, { out: { merge: "map_reduce_example" }, query: { ord_date: { $gt: new Date("01/01/2012") } }, finalize: finalizeFunction2 } )
文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。
轉載請注明本文地址:http://specialneedsforspecialkids.com/yun/18831.html
摘要:操作花費的時間,單位是毫秒。處理完成后,會自動將臨時集合的名字更改為你指定的集合名,這個重命名的過程是原子性的。作用域在這些函數內部是不變的。上一篇文章指南聚合下一篇文章指南聚合命令 上一篇文章:MongoDB指南---16、聚合下一篇文章:MongoDB指南---18、聚合命令 MapReduce是聚合工具中的明星,它非常強大、非常靈活。有些問題過于復雜,無法使用聚合框架的查詢語言...
摘要:操作花費的時間,單位是毫秒。處理完成后,會自動將臨時集合的名字更改為你指定的集合名,這個重命名的過程是原子性的。作用域在這些函數內部是不變的。上一篇文章指南聚合下一篇文章指南聚合命令 上一篇文章:MongoDB指南---16、聚合下一篇文章:MongoDB指南---18、聚合命令 MapReduce是聚合工具中的明星,它非常強大、非常靈活。有些問題過于復雜,無法使用聚合框架的查詢語言...
摘要:語法按什么字段進行分組進行分組前變量初始化該處聲明的變量可以在以下回調函數中作為的屬性使用類似中的分組后的查詢返回先迭代出分組然后再迭代分組中的文檔即變量就代表當前分組中此刻迭代到的文檔變量就代表當前分組。 group 語法 db.collection.group({ key:{field:1},//按什么字段進行分組 initial:{count:0},//...
摘要:定位于由廉價服務器構成的超大集群,假定單個服務器存儲是不可靠地,易失的,因此強調冗余和備份。并行計算的核心技術框架。一個典型案例編寫一個應用對圖書館過去年的文獻,統計較大詞頻。相同屬性的列組成列族。 - GFS: 分布式文件系統。適用于TB級超大文件存儲。master節點是文件管理的大腦,負責存儲和管理文件與物理塊的映射,維護metafile,處理臨時文件,調度chunk server等...
閱讀 2423·2019-08-29 13:53
閱讀 2507·2019-08-29 11:32
閱讀 3047·2019-08-28 17:51
閱讀 3776·2019-08-26 10:45
閱讀 3492·2019-08-23 17:51
閱讀 2983·2019-08-23 16:56
閱讀 3337·2019-08-23 16:25
閱讀 3085·2019-08-23 14:15