python內(nèi)置函數(shù) map/reduce

Miracle_lihb 發(fā)布于2019-07-31 09:59 / 1194人閱讀

摘要：函數(shù)接收兩個(gè)參數(shù)，一個(gè)是函數(shù)，一個(gè)是，將傳入的函數(shù)依次作用到序列的每個(gè)元素，并把結(jié)果作為新的返回。舉例說(shuō)明，比如我們有一個(gè)函數(shù)，要把這個(gè)函數(shù)作用在一個(gè)上，就可以用實(shí)現(xiàn)如下傳入的第一個(gè)參數(shù)是，即函數(shù)對(duì)象本身。

Python內(nèi)建了map()和reduce()函數(shù)。

如果你讀過(guò)Google的那篇大名鼎鼎的論文“MapReduce: Simplified Data Processing on Large Clusters”，你就能大概明白map/reduce的概念。
我們先看map。map()函數(shù)接收兩個(gè)參數(shù)，一個(gè)是函數(shù)，一個(gè)是Iterable，map將傳入的函數(shù)依次作用到序列的每個(gè)元素，并把結(jié)果作為新的Iterator返回。
舉例說(shuō)明，比如我們有一個(gè)函數(shù)f(x)=x2，要把這個(gè)函數(shù)作用在一個(gè)list [1, 2, 3, 4, 5, 6, 7, 8, 9]上，就可以用map()實(shí)現(xiàn)如下：

def f(x):
    return x*x

r = map(f,[1,2,3,4,5,6,7,8,9])
print(list(r))
[1, 4, 9, 16, 25, 36, 49, 64, 81]

map()傳入的第一個(gè)參數(shù)是f，即函數(shù)對(duì)象本身。由于結(jié)果r是一個(gè)Iterator，Iterator是惰性序列，因此通過(guò)list()函數(shù)讓它把整個(gè)序列都計(jì)算出來(lái)并返回一個(gè)list。
你可能會(huì)想，不需要map()函數(shù)，寫一個(gè)循環(huán)，也可以計(jì)算出結(jié)果：

L = []
for n in [1, 2, 3, 4, 5, 6, 7, 8, 9]:
    L.append(f(n))
print(L)

的確可以，但是，從上面的循環(huán)代碼，能一眼看明白“把f(x)作用在list的每一個(gè)元素并把結(jié)果生成一個(gè)新的list”嗎？
所以，map()作為高階函數(shù)，事實(shí)上它把運(yùn)算規(guī)則抽象了，因此，我們不但可以計(jì)算簡(jiǎn)單的f(x)=x2，還可以計(jì)算任意復(fù)雜的函數(shù)，比如，把這個(gè)list所有數(shù)字轉(zhuǎn)為字符串：

list(map(str, [1, 2, 3, 4, 5, 6, 7, 8, 9]))
["1", "2", "3", "4", "5", "6", "7", "8", "9"]

只需要一行代碼。

再看reduce的用法。reduce把一個(gè)函數(shù)作用在一個(gè)序列[x1, x2, x3, ...]上，這個(gè)函數(shù)必須接收兩個(gè)參數(shù)，reduce把結(jié)果繼續(xù)和序列的下一個(gè)元素做累積計(jì)算，其效果就是：
reduce(f, [x1, x2, x3, x4]) = f(f(f(x1, x2), x3), x4)
比方說(shuō)對(duì)一個(gè)序列求和，就可以用reduce實(shí)現(xiàn)：

from functools import reduce
def add(x, y):
     return x + y

reduce(add, [1, 3, 5, 7, 9])
25

當(dāng)然求和運(yùn)算可以直接用Python內(nèi)建函數(shù)sum()，沒(méi)必要?jiǎng)佑胷educe。
但是如果要把序列[1, 3, 5, 7, 9]變換成整數(shù)13579，reduce就可以派上用場(chǎng)：

from functools import reduce
def fn(x, y):
    return x * 10 + y
reduce(fn, [1, 3, 5, 7, 9])
13579

這個(gè)例子本身沒(méi)多大用處，但是，如果考慮到字符串str也是一個(gè)序列，對(duì)上面的例子稍加改動(dòng)，配合map()，我們就可以寫出把str轉(zhuǎn)換為int的函數(shù)：

from functools import reduce
def fn(x, y):
    return x * 10 + y
def char2num(s):
    digits = {"0": 0, "1": 1, "2": 2, "3": 3, "4": 4, "5": 5, "6": 6, "7": 7, "8": 8, "9": 9}
    return digits[s]
reduce(fn, map(char2num, "13579"))

13579

整理成一個(gè)str2int的函數(shù)就是：

from functools import reduce
DIGITS = {"0": 0, "1": 1, "2": 2, "3": 3, "4": 4, "5": 5, "6": 6, "7": 7, "8": 8, "9": 9}
def str2int(s):
    def fn(x, y):
        return x * 10 + y
    def char2num(s):
        return DIGITS[s]
    return reduce(fn, map(char2num, s))

還可以用lambda函數(shù)進(jìn)一步簡(jiǎn)化成：

from functools import reduce
DIGITS = {"0": 0, "1": 1, "2": 2, "3": 3, "4": 4, "5": 5, "6": 6, "7": 7, "8": 8, "9": 9}
def char2num(s):
    return DIGITS[s]
def str2int(s):
    return reduce(lambda x, y: x * 10 + y, map(char2num, s))

也就是說(shuō)，假設(shè)Python沒(méi)有提供int()函數(shù)，你完全可以自己寫一個(gè)把字符串轉(zhuǎn)化為整數(shù)的函數(shù)，而且只需要幾行代碼！