Python: xml轉(zhuǎn)json

_Suqin 發(fā)布于2019-07-25 10:32 / 3140人閱讀

摘要：，實(shí)驗(yàn)用的文件我們使用爬蟲實(shí)戰(zhàn)爬取京東商品列表一文的結(jié)果文件，爬蟲爬取的結(jié)果保存在京東手機(jī)列表文件中。，相關(guān)文檔，即時(shí)網(wǎng)絡(luò)爬蟲項(xiàng)目?jī)?nèi)容提取器的定義，爬蟲實(shí)戰(zhàn)爬取京東商品列表，集搜客開源代碼下載源，開源網(wǎng)絡(luò)爬蟲源，文檔修改歷史，首次發(fā)布

1，引言

GooSeeker早在9年前就開始了Semantic Web領(lǐng)域的產(chǎn)品化，MS謀數(shù)臺(tái)和DS打數(shù)機(jī)是其中兩個(gè)產(chǎn)品。對(duì)web內(nèi)容做結(jié)構(gòu)化轉(zhuǎn)換和語(yǔ)義處理的主要路線是 XML -> RDF -> Ontology Engineering。所以這兩款產(chǎn)品的輸出信息是XML格式的，實(shí)現(xiàn)第一步：結(jié)構(gòu)化轉(zhuǎn)換。單純作為一個(gè)網(wǎng)頁(yè)采集器來(lái)說(shuō)，輸出XML格式也有好處，這是一種標(biāo)準(zhǔn)格式，后續(xù)的數(shù)據(jù)處理可以很容易地接入，任意發(fā)揮。

在web集成和網(wǎng)站前端領(lǐng)域，json越來(lái)越普遍，在Scrapy架構(gòu)中，Scrapy dict數(shù)據(jù)結(jié)構(gòu)本質(zhì)上就是json，所以，由XML格式轉(zhuǎn)換成JSON格式很有必要。

無(wú)論哪種編程語(yǔ)言，XML轉(zhuǎn)Json都有很多現(xiàn)成的程序包，但是，就像前面說(shuō)的，GooSeeker定義的XML格式主要用來(lái)做實(shí)體建模，有自己規(guī)定的一套語(yǔ)義結(jié)構(gòu)描述標(biāo)準(zhǔn)。所以，不能直接使用現(xiàn)成的轉(zhuǎn)換程序，或者需要在現(xiàn)成的轉(zhuǎn)換程序上做些修改。

本文是一個(gè)實(shí)驗(yàn)過(guò)程，并沒有考慮GooSeeker要求的語(yǔ)義結(jié)構(gòu)，只是驗(yàn)證一下XML到Json的轉(zhuǎn)換。

2，實(shí)驗(yàn)用的XML文件

我們使用《python爬蟲實(shí)戰(zhàn)（2）：爬取京東商品列表》一文的結(jié)果文件，python爬蟲爬取的結(jié)果保存在京東手機(jī)列表_1.xml 文件中。內(nèi)容如下圖所示

下面針對(duì)這個(gè)結(jié)果文件先做個(gè)xml轉(zhuǎn)json的測(cè)試，為提取器gsExtractor添加輸出Json文件的功能做技術(shù)準(zhǔn)備。

3，測(cè)試過(guò)程

測(cè)試使用的模塊：xml.parsers.expat， json
測(cè)試輸入：以python爬蟲實(shí)戰(zhàn)（2）：爬取京東商品列表一文的xml結(jié)果文件京東手機(jī)列表_1.xml 作為輸入
代碼如下：

#! /usr/bin/env python
# -*- coding:utf-8 -*-
# xml 轉(zhuǎn) json
# xml2json.py
# Version 1.0

from xml.parsers.expat import ParserCreate
import json

class Xml2Json:
    LIST_TAGS = ["COMMANDS"]
    
    def __init__(self, data = None):
        self._parser = ParserCreate()
        self._parser.StartElementHandler = self.start
        self._parser.EndElementHandler = self.end
        self._parser.CharacterDataHandler = self.data
        self.result = None
        if data:
            self.feed(data)
            self.close()
        
    def feed(self, data):
        self._stack = []
        self._data = ""
        self._parser.Parse(data, 0)

    def close(self):
        self._parser.Parse("", 1)
        del self._parser

    def start(self, tag, attrs):
        assert attrs == {}
        assert self._data.strip() == ""
        self._stack.append([tag])
        self._data = ""

    def end(self, tag):
        last_tag = self._stack.pop()
        assert last_tag[0] == tag
        if len(last_tag) == 1: #leaf
            data = self._data
        else:
            if tag not in Xml2Json.LIST_TAGS:
                # build a dict, repeating pairs get pushed into lists
                data = {}
                for k, v in last_tag[1:]:
                    if k not in data:
                        data[k] = v
                    else:
                        el = data[k]
                        if type(el) is not list:
                            data[k] = [el, v]
                        else:
                            el.append(v)
            else: #force into a list
                data = [{k:v} for k, v in last_tag[1:]]
        if self._stack:
            self._stack[-1].append((tag, data))
        else:
            self.result = {tag:data}
        self._data = ""

    def data(self, data):
        self._data = data

if __name__ == "__main__":
    xml = open("京東手機(jī)列表_1.xml", "r", encoding="UTF-8").read()
    result = Xml2Json(xml).result;
    outputfile = open("京東手機(jī)列表_1.json", "w", encoding="UTF-8")
    outputfile.write(str(result))
    outputfile.close()

在控制臺(tái)運(yùn)行: $ python xml2json.py

測(cè)試輸出：京東手機(jī)列表_1.json。運(yùn)行后在當(dāng)前文件夾下可以看到新生成的json文件

4，接下來(lái)的工作

升級(jí)gsExtractor提取器類，加入新的方法，支持把提取結(jié)果從xml轉(zhuǎn)換為json格式。

轉(zhuǎn)換成的json結(jié)構(gòu)必須符合GooSeeker要求的語(yǔ)義描述結(jié)構(gòu)，為直接存入MongoDB做準(zhǔn)備。

5，相關(guān)文檔

1，Python即時(shí)網(wǎng)絡(luò)爬蟲項(xiàng)目: 內(nèi)容提取器的定義
2，Python爬蟲實(shí)戰(zhàn)（2）：爬取京東商品列表

6，集搜客GooSeeker開源代碼下載源

1， GooSeeker開源Python網(wǎng)絡(luò)爬蟲GitHub源

7，文檔修改歷史

2016-06-17：V1.0，首次發(fā)布

云服務(wù)器 GPU云服務(wù)器 xml轉(zhuǎn)json json轉(zhuǎn)xml程序實(shí)體轉(zhuǎn)xml datatable轉(zhuǎn)xml

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://specialneedsforspecialkids.com/yun/38021.html

發(fā)表評(píng)論

登陸后可評(píng)論

0條評(píng)論

_Suqin

男|高級(jí)講師

我要關(guān)注我要私信

TA的文章

RangCloud：慶國(guó)慶香港CN2+BGP線路VPS七折優(yōu)惠，1核/1G套餐月付13.8元起

閱讀 1314·2021-09-27 13:56
網(wǎng)頁(yè)應(yīng)該如何錄屏呢？

閱讀 2345·2019-08-26 10:35
每日 30 秒 ? 發(fā)布與訂閱

閱讀 3505·2019-08-23 15:53
前端進(jìn)擊的巨人（一）：執(zhí)行上下文與執(zhí)行棧，變量對(duì)象

閱讀 1855·2019-08-23 14:42
每天一個(gè)設(shè)計(jì)模式之責(zé)任鏈模式

閱讀 1239·2019-08-23 14:33
關(guān)于jshint的配置

閱讀 3572·2019-08-23 12:36
.vue文件中style標(biāo)簽的幾個(gè)標(biāo)識(shí)符

閱讀 1953·2019-08-22 18:46
函數(shù)聲明與函數(shù)表達(dá)式的區(qū)別

閱讀 1006·2019-08-22 14:06

国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

上云采購(gòu)季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺(tái)、長(zhǎng)期優(yōu)惠，快來(lái)選購(gòu)！

Python: xml轉(zhuǎn)json

相關(guān)文章