sqlalchemy使用count時遇到的坑

馬永翠發布于2019-07-31 10:31 / 617人閱讀

摘要：在用對一個千萬級別表進行操作時，出現了耗時嚴重內存飆升的情況。

在用flask-sqlalchemy對一個千萬級別表進行count操作時，出現了耗時嚴重、內存飆升的情況。
要統計出一天內車輛訪問次數，原代碼如下：

car_visit_counts = CarVisit.query.filter(
    CarVisit.park == car_visit.park,
    CarVisit.plate_number == car_visit.plate_number,
    CarVisit.visited_at >= today_start_time(),
).count()

發現代碼運行特別慢，所以把生成的sql打印出來看一下：

SELECT
          COUNT(*) AS count_1
FROM
          (
                    SELECT
                              car_visits.id                            AS car_visits_id
                            , car_visits.park_id                       AS car_visits_park_id
                            , car_visits.store_id                      AS car_visits_store_id
                            , car_visits.car_id                        AS car_visits_car_id
                            , car_visits.brand_id                      AS car_visits_brand_id
                            , 
                            ...
                    FROM
                              car_visits
                    WHERE
                              %(param_1)s                 = car_visits.park_id
                              AND car_visits.plate_number = %(plate_number_1)s
                              AND car_visits.visited_at  >= %(visited_at_1)s
          )
          AS anon_1

可以發現進行了一次子查詢，這樣的話會生成臨時表，效率低下，將原語句改變一下：

car_visit_counts = db.session.query(func.count(CarVisit.id)).filter(
    CarVisit.park == car_visit.park,
    CarVisit.plate_number == car_visit.plate_number,
    CarVisit.visited_at >= today_start_time(),
).scalar()

此時在看一下打印的sql語句：

SELECT
          COUNT(car_visits.id) AS count_1
FROM
          car_visits
WHERE
          %(param_1)s                 = car_visits.park_id
          AND car_visits.plate_number = %(plate_number_1)s
          AND car_visits.visited_at  >= %(visited_at_1)s

子查詢消失了，速度也快了好多。

云服務器 GPU云服務器使用遇到問題使用代理時禁用webRTC 使用ddos防護時用戶可以設定 SQLAlchemy

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/43968.html

一次使用 SQLAlchemy 實現分類以及計數的業務過程

摘要：在編寫業務邏輯代碼的時候我不幸遇到下面的表結構已經將主要邏輯抽離出來了分類分類名稱產品產品名稱分類現在需要實現的業務是返回分類的列表結果分類這是一個一對多的模型一般的笨拙思路就是明眼人一看就知道可以把換成但是根據這篇文章似乎這樣寫會有更好的在編寫業務邏輯代碼的時候, 我不幸遇到下面的表結構(已經將主要邏輯抽離出來了): class Category(Model): __tab...

airborne007 2019-07-30 16:38 評論0 收藏0
Flask-SQLAlchemy 學習總結

摘要：初始化和配置對象關系映射。的則需要在中聲明。例如配置信息中指出是可以綁定多個數據庫引擎。是通過解決一對多的關系。將會返回學院學生人數將會返回學生的學院信息的類實例。處理關系對象查詢中有詳細的說明。初始化和配置 ORM(Object Relational Mapper) 對象關系映射。指將面對對象得方法映射到數據庫中的關系對象中。Flask-SQLAlchemy是一個Flask擴展，能...

whataa 2019-07-24 18:32 評論0 收藏0
Essential SQLAlchemy2th學習筆記之ORM模塊

摘要：你應該使用工廠類來創建類，因為這確保了配置參數的正確性。對象包含創建數據庫連接所需的一切信息，它不會立即創建連接對象，而是會在我們進行具體操作時創建。注意生產環境不要使用這個選項。關于選擇的最佳實踐使用迭代方式獲取所有值，而不是。定義模式Defining Schema 定義ORM類的4個步驟：繼承declarative_base()函數返回的類定義__tablename__屬性...

JasonZhang 2019-07-25 11:12 評論0 收藏0
基于 oracle 的 flask 項目（二）——用戶登錄

摘要：自行定義的方法用于權限判斷繼承至該類的用戶模型將作為未登陸時的用戶模型可以保持代碼的一致性。但是這樣的方法很危險，很造成一些其它項目的兼容性問題。打開頁面，顯示正常。 flask 相對于很多國企的 oracle 數據庫而言，是比較新的，因此很多古老的設計并不一定適合較新的 flask 的標準，但作為后來者，你得向前兼容，你得適應需求。本章內容就來解釋一下上一章——基于 oracle 的...

chunquedong 2019-07-30 15:28 評論0 收藏0