python下的sqlite使用

ixlei 發(fā)布于2019-07-31 10:53 / 1934人閱讀

摘要：環(huán)境在處理微信朋友圈數(shù)據(jù)的過(guò)程中，需要對(duì)進(jìn)行一些處理，只處理增量數(shù)據(jù)。已經(jīng)處理過(guò)的，不再處理。使用在中有位的，默認(rèn)是自增的。

環(huán)境：python2.7

在處理微信朋友圈數(shù)據(jù)的過(guò)程中，需要對(duì)sqlite進(jìn)行一些處理，只處理增量數(shù)據(jù)。已經(jīng)處理過(guò)的，不再處理。

使用rowid

在sqlite中有64位的 ROWID，ROWID默認(rèn)是自增的。我們用這個(gè)特性，來(lái)處理我們的增量數(shù)據(jù)。

記錄上次ROWID

創(chuàng)建一個(gè)sqlite記錄數(shù)據(jù)

# coding=utf-8
import sqlite3

conn0 = sqlite3.connect("local_info.db")
# 獲取表名列表
tables = conn0.execute("SELECT tbl_name FROM sqlite_master WHERE type="table"")
# 如果表不存在，則創(chuàng)建表
if ("device_rowid_table",) not in list(tables):
    conn0.execute("""CREATE TABLE device_rowid_table
                    (
                    # 設(shè)備列表
                    device CHAR(20) NOT NULL,
                     # 此前處理過(guò)的最大rowid
                     max_rowid INT NOT NULL
                     );

    """)

# 插入一條數(shù)據(jù)：假設(shè)，我們已經(jīng)處理了3fa5684f7d53設(shè)備中的前10條數(shù)據(jù)
conn0.execute("INSERT INTO device_rowid_table (device, max_rowid) VALUES ("3fa5684f7d53", 40)")
conn0.commit()

device_id = "3fa5684f7d53"
max_rowid = 0
for device, rowid in conn0.execute("select * from device_rowid_table"):
    if device==device_id:
        max_rowid = rowid

print max_rowid

conn1 = sqlite3.connect("3fa5684f7d53_1479459121.18.db")
row_num = conn1.execute("select count(*) from SnsInfo")
print list(row_num)
conn1.execute("DELETE FROM SnsInfo WHERE ROWID<{}".format(max_rowid))
conn1.commit()
row_num = conn1.execute("select count(*) from SnsInfo")
print list(row_num)