Python: xml轉json

sourcenode 發布于2019-08-27 10:52 / 2704人閱讀

摘要：，實驗用的文件我們使用爬蟲實戰爬取京東商品列表一文的結果文件，爬蟲爬取的結果保存在京東手機列表文件中。，相關文檔，即時網絡爬蟲項目內容提取器的定義，爬蟲實戰爬取京東商品列表，集搜客開源代碼下載源，開源網絡爬蟲源，文檔修改歷史，首次發布

1，引言

GooSeeker早在9年前就開始了Semantic Web領域的產品化，MS謀數臺和DS打數機是其中兩個產品。對web內容做結構化轉換和語義處理的主要路線是 XML -> RDF -> Ontology Engineering。所以這兩款產品的輸出信息是XML格式的，實現第一步：結構化轉換。單純作為一個網頁采集器來說，輸出XML格式也有好處，這是一種標準格式，后續的數據處理可以很容易地接入，任意發揮。

在web集成和網站前端領域，json越來越普遍，在Scrapy架構中，Scrapy dict數據結構本質上就是json，所以，由XML格式轉換成JSON格式很有必要。

無論哪種編程語言，XML轉Json都有很多現成的程序包，但是，就像前面說的，GooSeeker定義的XML格式主要用來做實體建模，有自己規定的一套語義結構描述標準。所以，不能直接使用現成的轉換程序，或者需要在現成的轉換程序上做些修改。

本文是一個實驗過程，并沒有考慮GooSeeker要求的語義結構，只是驗證一下XML到Json的轉換。

2，實驗用的XML文件

我們使用《python爬蟲實戰（2）：爬取京東商品列表》一文的結果文件，python爬蟲爬取的結果保存在京東手機列表_1.xml 文件中。內容如下圖所示

下面針對這個結果文件先做個xml轉json的測試，為提取器gsExtractor添加輸出Json文件的功能做技術準備。

3，測試過程

測試使用的模塊：xml.parsers.expat， json
測試輸入：以python爬蟲實戰（2）：爬取京東商品列表一文的xml結果文件京東手機列表_1.xml 作為輸入
代碼如下：

#! /usr/bin/env python
# -*- coding:utf-8 -*-
# xml 轉 json
# xml2json.py
# Version 1.0

from xml.parsers.expat import ParserCreate
import json

class Xml2Json:
    LIST_TAGS = ["COMMANDS"]
    
    def __init__(self, data = None):
        self._parser = ParserCreate()
        self._parser.StartElementHandler = self.start
        self._parser.EndElementHandler = self.end
        self._parser.CharacterDataHandler = self.data
        self.result = None
        if data:
            self.feed(data)
            self.close()
        
    def feed(self, data):
        self._stack = []
        self._data = ""
        self._parser.Parse(data, 0)

    def close(self):
        self._parser.Parse("", 1)
        del self._parser

    def start(self, tag, attrs):
        assert attrs == {}
        assert self._data.strip() == ""
        self._stack.append([tag])
        self._data = ""

    def end(self, tag):
        last_tag = self._stack.pop()
        assert last_tag[0] == tag
        if len(last_tag) == 1: #leaf
            data = self._data
        else:
            if tag not in Xml2Json.LIST_TAGS:
                # build a dict, repeating pairs get pushed into lists
                data = {}
                for k, v in last_tag[1:]:
                    if k not in data:
                        data[k] = v
                    else:
                        el = data[k]
                        if type(el) is not list:
                            data[k] = [el, v]
                        else:
                            el.append(v)
            else: #force into a list
                data = [{k:v} for k, v in last_tag[1:]]
        if self._stack:
            self._stack[-1].append((tag, data))
        else:
            self.result = {tag:data}
        self._data = ""

    def data(self, data):
        self._data = data

if __name__ == "__main__":
    xml = open("京東手機列表_1.xml", "r", encoding="UTF-8").read()
    result = Xml2Json(xml).result;
    outputfile = open("京東手機列表_1.json", "w", encoding="UTF-8")
    outputfile.write(str(result))
    outputfile.close()

在控制臺運行: $ python xml2json.py

測試輸出：京東手機列表_1.json。運行后在當前文件夾下可以看到新生成的json文件

4，接下來的工作

升級gsExtractor提取器類，加入新的方法，支持把提取結果從xml轉換為json格式。

轉換成的json結構必須符合GooSeeker要求的語義描述結構，為直接存入MongoDB做準備。

5，相關文檔

1，Python即時網絡爬蟲項目: 內容提取器的定義
2，Python爬蟲實戰（2）：爬取京東商品列表

6，集搜客GooSeeker開源代碼下載源

1， GooSeeker開源Python網絡爬蟲GitHub源

7，文檔修改歷史

2016-06-17：V1.0，首次發布

云服務器 GPU云服務器 xml轉json json轉xml程序實體轉xml datatable轉xml

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/110336.html

Python: xml轉json

摘要：，實驗用的文件我們使用爬蟲實戰爬取京東商品列表一文的結果文件，爬蟲爬取的結果保存在京東手機列表文件中。，相關文檔，即時網絡爬蟲項目內容提取器的定義，爬蟲實戰爬取京東商品列表，集搜客開源代碼下載源，開源網絡爬蟲源，文檔修改歷史，首次發布 showImg(https://segmentfault.com/img/bVyf6R); 1，引言 GooSeeker早在9年前就開始了Semanti...

_Suqin 2019-07-25 10:32 評論0 收藏0
將xmind文件轉成可編程數據類型

摘要：轉數據類型可以將轉成數據類型，比如下面這么一個文件轉換代碼的示例例子中的數據結構如下通過遍歷和就可以獲取到中每個節點的數據。前言最近升級了一下xmind2testlink，順帶產生了一個中間輪子：xmindparser。 xmind是知名的思維導圖軟件，可以用來整理思路，設計測試案例等等。一旦完稿后軟件本身支持導出為圖片，PDF，Excel等等文件格式。免費版相對于Pro版能導出的...

jackwang 2019-07-30 16:56 評論0 收藏0
大話爬蟲的基本套路

摘要：有什么作用通過有效的爬蟲手段批量采集數據，可以降低人工成本，提高有效數據量，給予運營銷售的數據支撐，加快產品發展。因為信息是完全公開的，所以是合法的。 showImg(https://segmentfault.com/img/remote/1460000011359885?w=566&h=316);　　什么是爬蟲？網絡爬蟲也叫網絡蜘蛛，如果把互聯網比喻成一個蜘蛛網，那么蜘蛛就是在...

Towers 2019-07-30 14:48 評論0 收藏0
中文維基百科文本數據獲取與預處理

摘要：下載數據方法使用官方的數據最新打包的中文文檔下載地址是。中文維基數據繁簡混雜大家都說存在這個問題，但的網站是將繁體中文和簡體中文分開處理的，所以一直覺得從數據庫到結構都應有方法將兩者區分開，暫罷，待有空研究其數據時再議。照例，先講下環境，Mac OSX 10.11.2 ，Python 3.4.3。下載數據方法1：使用官方dump的xml數據最新打包的中文文檔下載地址是：http...

loostudy 2019-07-25 10:20 評論0 收藏0
python之Json的注意事項

摘要：在中，可以通過轉碼之類得知是啥姓名但是如果接口使用方是其他的語言，那就歇菜了。那么這個時候需要在是做下設置，加上和官網文檔中，列出了可用的參數 Json是一種輕量級的數據交換格式, 在跨語言交互時，是數據傳遞的一個比較好的選擇（當然也可以選擇xml).python在構造服務json返回值時，如果碰到有中文的時候，使用json.dumps后，中文會變成另外的非人類格式，形如uu59d3u...

baiy 2019-07-24 18:08 評論0 收藏0