python中5個json庫的速度對比

whjin 發(fā)布于2019-07-30 18:01 / 1401人閱讀

摘要：數(shù)據(jù)量較少時(shí)，速度幾乎沒有區(qū)別，無所謂選擇哪一個。數(shù)據(jù)量大的情況下，的總體表現(xiàn)最好，但序列化不如而中，如果只是一個對象，可以直接使用用法為默認(rèn)采用內(nèi)置方式進(jìn)格式化后返回。

python中json的序列化與反序列化有很多庫，具體選擇使用哪一個，或者哪一個速度更快呢？

先上結(jié)果

json序列化與反序列化速度對比（按總時(shí)間排序：測試數(shù)據(jù)100 * 10000）

ujson           序列化: 2.084    反序列化: 1.157      總時(shí)間: 3.241
yajl            序列化: 1.910    反序列化: 1.970      總時(shí)間: 3.880
cjson           序列化: 3.305    反序列化: 1.328      總時(shí)間: 4.632
simplejson      序列化: 10.279   反序列化: 4.658      總時(shí)間: 14.937
stdlib json     序列化: 7.013    反序列化: 8.594      總時(shí)間: 15.607

其中，除了stdlib json也就是內(nèi)置的json.dumps外，其他都是第三方包。數(shù)據(jù)量較少時(shí)，速度幾乎沒有區(qū)別，無所謂選擇哪一個。數(shù)據(jù)量大的情況下，ujson的總體表現(xiàn)最好，但序列化不如yajl

而django中，如果只是response一個json對象，可以直接使用JsonResonse

用法為：

>>> from django.http import JsonResponse
>>> response = JsonResponse({"foo": "bar"})
>>> response.content
"{"foo": "bar"}"

默認(rèn)采用內(nèi)置方式進(jìn)json格式化后返回。如果數(shù)據(jù)不多，著實(shí)方便(django1.7引入)

測試代碼

來自rtyler,在其基礎(chǔ)上新增了ujson

import time

import pickle
import yajl

try:
    import cjson
except ImportError:
    cjson = None
try:
    import simplejson
except ImportError:
    simplejson = None
try:
    import ujson
except ImportError:
    ujson = None

try:
    import json
except ImportError:
    json = None

default_data = {
    "name": "Foo",
    "type": "Bar",
    "count": 1,
    "info": {
        "x": 203,
        "y": 102, }, }


def ttt(f, data=None, x=100 * 10000):
    start = time.time()
    while x:
        x -= 1
        foo = f(data)
    return time.time() - start


def profile(serial, deserial, data=None, x=100 * 10000):
    if not data:
        data = default_data
    squashed = serial(data)
    return (ttt(serial, data, x), ttt(deserial, squashed, x))


def test(serial, deserial, data=None):
    if not data:
        data = default_data
    assert deserial(serial(data)) == data


contenders = [
    ("yajl", (yajl.Encoder().encode, yajl.Decoder().decode)),
]
if cjson:
    contenders.append(("cjson", (cjson.encode, cjson.decode)))
if simplejson:
    contenders.append(("simplejson", (simplejson.dumps, simplejson.loads)))
if json:
    contenders.append(("stdlib json", (json.dumps, json.loads)))
if ujson:
    contenders.append(("ujson", (ujson.dumps, ujson.loads)))

for name, args in contenders:
    test(*args)
    x, y = profile(*args)
    print("%-11s serialize: %0.3f  deserialize: %0.3f  total: %0.3f" % (
        name, x, y, x + y))