Pandas連接MongoDB

Invoker 發布于2019-06-26 16:59 / 667人閱讀

來自StackOverFlow

import pandas as pd
from pymongo import MongoClient


def _connect_mongo(host, port, username, password, db):
    """ A util for making a connection to mongo """

    if username and password:
        mongo_uri = "mongodb://%s:%s@%s:%s/%s" % (username, password, host, port, db)
        conn = MongoClient(mongo_uri)
    else:
        conn = MongoClient(host, port)


    return conn[db]


def read_mongo(db, collection, query={}, host="localhost", port=27017, username=None, password=None, no_id=True):
    """ Read from Mongo and Store into DataFrame """

    # Connect to MongoDB
    db = _connect_mongo(host=host, port=port, username=username, password=password, db=db)

    # Make a query to the specific DB and Collection
    cursor = db[collection].find(query)

    # Expand the cursor and construct the DataFrame
    df =  pd.DataFrame(list(cursor))

    # Delete the _id
    if no_id:
        del df["_id"]

    return df

if __name__ =="__main__":
    df = read_mongo("zhihu","questions",{})
    print df

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/18824.html

自制簡單的詩歌搜索系統

摘要：項目簡介本文將介紹一個筆者自己的項目自制簡單的詩歌搜索系統。該項目使用的模塊為其中，模塊和模塊用來制作爬蟲，爬取網上的詩歌。項目簡介 ??本文將介紹一個筆者自己的項目：自制簡單的詩歌搜索系統。該系統主要的實現功能如下：指定一個關鍵詞，檢索出包含這個關鍵詞的詩歌，比如關鍵詞為白云，則檢索出的詩歌可以為王維的《送別》，內容為下馬飲君酒，問君何所之？君言不得意，歸臥南山陲。但去莫復問，白云...

SegmentFault 2019-07-31 10:03 評論0 收藏0
python

Python裝飾器為什么難理解？無論項目中還是面試都離不開裝飾器話題，裝飾器的強大在于它能夠在不修改原有業務邏輯的情況下對代碼進行擴展，權限校驗、用戶認證、日志記錄、性能測試、事務處理、緩存等都是裝飾器的絕佳應用場景，它能夠最大程度地對代碼進行復用。但為什么初學者對裝飾器的理解如此困難，我認為本質上是對Py… Python 實現車牌定位及分割作者用 Python 實現車牌定位及分割的實踐。 ...

chenatu 2019-07-30 15:35 評論0 收藏0
Python 和 R 數據分析/挖掘工具互查

摘要：寫在前面在此總結一些在數據分析挖掘中可能用到的功能，方便大家索引或者從一種語言遷移到另一種。概率圖模型文本基本操作類別英中中文分詞未知主題模型類別未知未知未知值得留意的是的新第三方模塊，與其他分析可視化挖掘報表工具的交互類別實際是的服務包寫在前面在此總結一些在數據分析/挖掘中可能用到的功能，方便大家索引或者從一種語言遷移到另一種。當然，這篇博客還會隨時更新（不會另起一篇，為了方便大...

array_huang 2019-07-25 10:19 評論0 收藏0
利用MongoDB分析Nginx日志

摘要：通過通過入庫后使用進行查詢的方式可以通過如下種圖片來查看在上圖中主要是查看日志中請求狀態碼的總數量。原文地址: http://52sox.com/use-mongodb-... 在項目開發過程中,總是離不開日志解析的工作,雖然有些時候覺得確實挺繁瑣的,但是靜下心來會發現有時候也是挺有趣的1件工作。在這里,我們要從日志文件中找出IP訪問最多的10條記錄,然后判斷其是否合法,從而采取...

edgardeng 2019-07-25 13:48 評論0 收藏0