MongoDB中MapReduce使用

Near_Li 發(fā)布于2019-06-26 17:30 / 2744人閱讀

摘要：本文我們就來看看中的使用。結(jié)果如下錢鐘書宋詩選注談藝錄魯迅彷徨實現(xiàn)我們也可以利用命令來執(zhí)行。

玩過Hadoop的小伙伴對MapReduce應(yīng)該不陌生，MapReduce的強大且靈活，它可以將一個大問題拆分為多個小問題，將各個小問題發(fā)送到不同的機器上去處理，所有的機器都完成計算后，再將計算結(jié)果合并為一個完整的解決方案，這就是所謂的分布式計算。本文我們就來看看MongoDB中MapReduce的使用。

本文是MongoDB系列的第十四篇文章，了解前面的文章有助于更好的理解本文：

1.Linux上安裝MongoDB
2.MongoDB基本操作
3.MongoDB數(shù)據(jù)類型
4.MongoDB文檔更新操作
5.MongoDB文檔查詢操作(一)
6.MongoDB文檔查詢操作(二)
7.MongoDB文檔查詢操作(三)
8.MongoDB查看執(zhí)行計劃
9.初識MongoDB中的索引
10.MongoDB中各種類型的索引
11.MongoDB固定集合
12.MongoDB管道操作符(一)
13.MongoDB管道操作符(二)

mapReduce

MongoDB中的MapReduce可以用來實現(xiàn)更復(fù)雜的聚合命令，使用MapReduce主要實現(xiàn)兩個函數(shù)：map函數(shù)和reduce函數(shù)，map函數(shù)用來生成鍵值對序列，map函數(shù)的結(jié)果作為reduce函數(shù)的參數(shù)，reduce函數(shù)中再做進一步的統(tǒng)計，比如我的數(shù)據(jù)集如下：

{"_id" : ObjectId("59fa71d71fd59c3b2cd908d7"),"name" : "魯迅","book" : "吶喊","price" : 38.0,"publisher" : "人民文學(xué)出版社"}
{"_id" : ObjectId("59fa71d71fd59c3b2cd908d8"),"name" : "曹雪芹","book" : "紅樓夢","price" : 22.0,"publisher" : "人民文學(xué)出版社"}
{"_id" : ObjectId("59fa71d71fd59c3b2cd908d9"),"name" : "錢鐘書","book" : "宋詩選注","price" : 99.0,"publisher" : "人民文學(xué)出版社"}
{"_id" : ObjectId("59fa71d71fd59c3b2cd908da"),"name" : "錢鐘書","book" : "談藝錄","price" : 66.0,"publisher" : "三聯(lián)書店"}
{"_id" : ObjectId("59fa71d71fd59c3b2cd908db"),"name" : "魯迅","book" : "彷徨","price" : 55.0,"publisher" : "花城出版社"}

假如我想查詢每位作者所出的書的總價，操作如下：

var map=function(){emit(this.name,this.price)}
var reduce=function(key,value){return Array.sum(value)}
var options={out:"totalPrice"}
db.sang_books.mapReduce(map,reduce,options);
db.totalPrice.find()

emit函數(shù)主要用來實現(xiàn)分組，接收兩個參數(shù)，第一個參數(shù)表示分組的字段，第二個參數(shù)表示要統(tǒng)計的數(shù)據(jù)，reduce來做具體的數(shù)據(jù)處理操作，接收兩個參數(shù)，對應(yīng)emit方法的兩個參數(shù)，這里使用了Array中的sum函數(shù)對price字段進行自加處理，options中定義了將結(jié)果輸出的集合，屆時我們將在這個集合中去查詢數(shù)據(jù)，默認情況下，這個集合即使在數(shù)據(jù)庫重啟后也會保留，并且保留集合中的數(shù)據(jù)。查詢結(jié)果如下：

{
    "_id" : "曹雪芹",
    "value" : 22.0
}
{
    "_id" : "錢鐘書",
    "value" : 165.0
}
{
    "_id" : "魯迅",
    "value" : 93.0
}

再比如我想查詢每位作者出了幾本書，如下：

var map=function(){emit(this.name,1)}
var reduce=function(key,value){return Array.sum(value)}
var options={out:"bookNum"}
db.sang_books.mapReduce(map,reduce,options);
db.bookNum.find()

查詢結(jié)果如下：

{
    "_id" : "曹雪芹",
    "value" : 1.0
}
{
    "_id" : "錢鐘書",
    "value" : 2.0
}
{
    "_id" : "魯迅",
    "value" : 2.0
}

將每位作者的書列出來，如下：

var map=function(){emit(this.name,this.book)}
var reduce=function(key,value){return value.join(",")}
var options={out:"books"}
db.sang_books.mapReduce(map,reduce,options);
db.books.find()

結(jié)果如下：

{
    "_id" : "曹雪芹",
    "value" : "紅樓夢"
}
{
    "_id" : "錢鐘書",
    "value" : "宋詩選注,談藝錄"
}
{
    "_id" : "魯迅",
    "value" : "吶喊,彷徨"
}

比如查詢每個人售價在￥40以上的書：

var map=function(){emit(this.name,this.book)}
var reduce=function(key,value){return value.join(",")}
var options={query:{price:{$gt:40}},out:"books"}
db.sang_books.mapReduce(map,reduce,options);
db.books.find()

query表示對查到的集合再進行篩選。

結(jié)果如下：

{
    "_id" : "錢鐘書",
    "value" : "宋詩選注,談藝錄"
}
{
    "_id" : "魯迅",
    "value" : "彷徨"
}

runCommand實現(xiàn)

我們也可以利用runCommand命令來執(zhí)行MapReduce。格式如下：

db.runCommand(
               {
                 mapReduce: ,
                 map: ,
                 reduce: ,
                 finalize: ,
                 out: ,
                 query: ,
                 sort: ,
                 limit: ,
                 scope: ,
                 jsMode: ,
                 verbose: ,
                 bypassDocumentValidation: ,
                 collation: 
               }
             )

含義如下：

參數(shù)	含義
mapReduce	表示要操作的集合
map	map函數(shù)
reduce	reduce函數(shù)
finalize	最終處理函數(shù)
out	輸出的集合
query	對結(jié)果進行過濾
sort	對結(jié)果排序
limit	返回的結(jié)果數(shù)
scope	設(shè)置參數(shù)值，在這里設(shè)置的值在map、reduce、finalize函數(shù)中可見
jsMode	是否將map執(zhí)行的中間數(shù)據(jù)由javascript對象轉(zhuǎn)換成BSON對象，默認為false
verbose	是否顯示詳細的時間統(tǒng)計信息
bypassDocumentValidation	是否繞過文檔驗證
collation	其他一些校對

如下操作，表示執(zhí)行MapReduce操作并對統(tǒng)計的集合限制返回條數(shù)，限制返回條數(shù)之后再進行統(tǒng)計操作，如下：

var map=function(){emit(this.name,this.book)}
var reduce=function(key,value){return value.join(",")}
db.runCommand({mapreduce:"sang_books",map,reduce,out:"books",limit:4,verbose:true})
db.books.find()

執(zhí)行結(jié)果如下：

{
    "_id" : "曹雪芹",
    "value" : "紅樓夢"
}
{
    "_id" : "錢鐘書",
    "value" : "宋詩選注,談藝錄"
}
{
    "_id" : "魯迅",
    "value" : "吶喊"
}

小伙伴們看到，魯迅有一本書不見了，就是因為limit是先限制集合返回條數(shù)，然后再執(zhí)行統(tǒng)計操作。

finalize操作表示最終處理函數(shù)，如下：

var f1 = function(key,reduceValue){var obj={};obj.author=key;obj.books=reduceValue; return obj}
var map=function(){emit(this.name,this.book)}
var reduce=function(key,value){return value.join(",")}
db.runCommand({mapreduce:"sang_books",map,reduce,out:"books",finalize:f1})
db.books.find()

f1第一個參數(shù)key表示emit中的第一個參數(shù)，第二個參數(shù)表示reduce的執(zhí)行結(jié)果，我們可以在f1中對這個結(jié)果進行再處理，結(jié)果如下：

{
    "_id" : "曹雪芹",
    "value" : {
        "author" : "曹雪芹",
        "books" : "紅樓夢"
    }
}
{
    "_id" : "錢鐘書",
    "value" : {
        "author" : "錢鐘書",
        "books" : "宋詩選注,談藝錄"
    }
}
{
    "_id" : "魯迅",
    "value" : {
        "author" : "魯迅",
        "books" : "吶喊,彷徨"
    }
}

scope則可以用來定義一個在map、reduce和finalize中都可見的變量，如下：

var f1 = function(key,reduceValue){var obj={};obj.author=key;obj.books=reduceValue;obj.sang=sang; return obj}
var map=function(){emit(this.name,this.book)}
var reduce=function(key,value){return value.join(",--"+sang+"--,")}
db.runCommand({mapreduce:"sang_books",map,reduce,out:"books",finalize:f1,scope:{sang:"haha"}})
db.books.find()

執(zhí)行結(jié)果如下：

{
    "_id" : "曹雪芹",
    "value" : {
        "author" : "曹雪芹",
        "books" : "紅樓夢",
        "sang" : "haha"
    }
}
{
    "_id" : "錢鐘書",
    "value" : {
        "author" : "錢鐘書",
        "books" : "宋詩選注,--haha--,談藝錄",
        "sang" : "haha"
    }
}
{
    "_id" : "魯迅",
    "value" : {
        "author" : "魯迅",
        "books" : "吶喊,--haha--,彷徨",
        "sang" : "haha"
    }
}

好了，MongoDB中的MapReduce我們就先說到這里，小伙伴們有問題歡迎留言討論。

參考資料：

1.《MongoDB權(quán)威指南第2版》
2.mongodb mapreduce小試
3.mongoDB--mapreduce用法詳解(未找到原始出處)

更多資料請關(guān)注公眾號：