Python Metaclass 初探

nidaye 發(fā)布于2019-07-30 14:41 / 2325人閱讀

摘要：以我們的程序為例，就是以為產(chǎn)生了一個名為的新類型，改類型的實現(xiàn)由給出，而就包含了通過返回的這個方法。從中找到這些類并一一執(zhí)行測試。

先以一個大牛的一段關(guān)于Python Metapgramming的著名的話來做開頭：

Metaclasses are deeper magic than 99% of users should ever worry about. If you wonder whether you need them, you don’t (the people who actually need them know with certainty that they need them, and don’t need an explanation about why). – Tim Peters

翻譯一下：Metaclasses是99%的用戶都無需費神的黑科技。如果你還在糾結(jié)你是不是需要它的話，答案是NO （真正需要的人根本不需要解釋） - Tim Peters

這是什么鬼話？道可道，非常道嗎？

Meta?

好，裝B已畢。這確實是一個冷僻的，不常用的話題。一篇短文肯定講不完。所以叫做初探。

英文meta這個詞其實是從希臘語里面借來的。wikipedia上的解釋是：

indicate a concept which is an abstraction behind another concept, used to complete or add to the latter

不看還好，其實看了更暈。好在后面的解釋有一句“更高一層的抽象”，可以幫助理解。其實我們可以這樣理解。meta的意思就是“關(guān)于什么的什么”：比如metadata可以理解為“關(guān)于數(shù)據(jù)的數(shù)據(jù)”，metaprogramming可以理解為“關(guān)于編程的編程”。這就和“更高一層的抽象” 比較契合了。同時又隱隱和編程中的另一個永恒主題-recursion聯(lián)系在了一起。

另外，meta這個詞天朝這邊翻譯成“元”，海峽對岸翻譯成“后設(shè)”。其實我都不大理解從何而來。

實例

聚焦到我們今天的主題，metaprogramming就是編寫用來生成代碼的代碼。

假設(shè)我們寫了一個NB的函數(shù)，用來計算一個任意復(fù)雜的算數(shù)表達式的值：
像1+2, 3*6+10, 什么的都可以交給它去計算。這樣的函數(shù)的算法不是我們的主題，所以我們請出python自帶的大招eval()，一行就可以搞定了：

def calc(expression):
    return eval(expression)

因為輸入的可能性是無限的，所以我們肯定要好好測試一下這個函數(shù)了。假定我們想了上百個test case。又假定我們是用unittest這個module來做測試的。這樣的測試程序一般會長成這樣：

import unittest

class TestStringMethods(unittest.TestCase):

    def test_upper(self):
        self.assertEqual("foo".upper(), "FOO")

    def test_isupper(self):
        self.assertTrue("FOO".isupper())
        self.assertFalse("Foo".isupper())

    def test_split(self):
        s = "hello world"
        self.assertEqual(s.split(), ["hello", "world"])
        # check that s.split fails when the separator is not a string
        with self.assertRaises(TypeError):
            s.split(2)

if __name__ == "__main__":
    unittest.main()

所以我們的目的就是用metaprogramming的方式來自動產(chǎn)生類似上面的測試類。

先上程序后解釋：

#!/usr/bin/python3
import unittest

def calc(expression):
    return eval(expression)

def add_test(name, asserts):
    def test_method(asserts):
        def fn(self):
            left, right = asserts.split("=")
            expected = str(calc(left))
            self.assertEqual(expected, right)
        return fn

    d = {"test1": test_method(asserts)}
    cls = type(name, (unittest.TestCase,), d)
    globals()[name] = cls

if __name__ == "__main__":
    for i, t in enumerate([
            "1+2=3",
            "3*5*6=90"]):
        add_test("Test%d" % i, t)
    unittest.main()

NB的calc()函數(shù)我們解釋過了。main這段也比較簡單：我們用聲明的方式定義了一組測試，然后通過unittest來執(zhí)行。

有點復(fù)雜的是add_test()。我們先來看看最內(nèi)層的fn(self)這個方法。邏輯上，它就是把輸入的測試用例分成兩份，一份是calc()的輸入，一份是我們期待的結(jié)果；然后調(diào)用calc(), 接著用assertEqual()來測試。

但是這個self有點奇怪 - 這里沒有類，哪里來的self? 其實fn(self)確實是一個類的方法，只不過這個類是我們通過代碼動態(tài)生成的。也就是下面這一行：

cls = type(name, (unittest.TestCase,), d)

這里的type()就是通常我們用來檢查某個變量的類型的那個函數(shù)。只不過它還有另外一種不大為人知的形式：

class type(name, bases, dict)

這第二種形式，就會產(chǎn)生一個新的類型。以我們的程序為例，就是以unit.TestCase為baseclass, 產(chǎn)生了一個名為TestN的新類型，改類型的實現(xiàn)由d給出，而d就包含了通過closure返回的fn(self)這個方法。只不過在這個新類里面，它的名字叫做 test1()。

最后，我們把這個新產(chǎn)生的類加入到當(dāng)前全局符號表里面，也就相當(dāng)于上面給出的unittest的例子。

所以，總結(jié)一下。當(dāng)我們運行這個腳本的時候，這段比較短的代碼會針對每一個測試的表達式產(chǎn)生一個新的測試類，并動態(tài)生成測試的方法加載到該類里面。unitest從globals中找到這些類并一一執(zhí)行測試。

上面的例子中，其實一行一行手打calc(1+2) == 3也沒什么大不了的。但是當(dāng)你要表達的邏輯比較復(fù)雜的時候，metaprogramming的強大就體現(xiàn)出來了。

總結(jié)

那么，看完這篇文章，我們也成為Tim所說的1%的程序猿了！其實，也許他的意思是，99%的編程工作都用不到這樣技巧。在一些特殊的場合，比如編寫某種框架的時候，metaprogramming會做到事半功倍。祝你在實踐中碰到這樣的機會。