摘要：上一篇文章網(wǎng)絡(luò)爬蟲實戰(zhàn)數(shù)據(jù)存儲非關(guān)系型數(shù)據(jù)庫存儲下一篇文章網(wǎng)絡(luò)爬蟲實戰(zhàn)數(shù)據(jù)爬取是一個基于內(nèi)存的高效的鍵值型非關(guān)系型數(shù)據(jù)庫，存取效率極高，而且支持多種存儲數(shù)據(jù)結(jié)構(gòu)，使用也非常簡單，在本節(jié)我們介紹一下的操作，主要介紹這個庫的用法。

上一篇文章：Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---33、數(shù)據(jù)存儲：非關(guān)系型數(shù)據(jù)庫存儲:MongoDB
下一篇文章：Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---35、 Ajax數(shù)據(jù)爬取

Redis 是一個基于內(nèi)存的高效的鍵值型非關(guān)系型數(shù)據(jù)庫，存取效率極高，而且支持多種存儲數(shù)據(jù)結(jié)構(gòu)，使用也非常簡單，在本節(jié)我們介紹一下 Python 的 Redis 操作，主要介紹 RedisPy 這個庫的用法。

在本節(jié)開始之前請確保已經(jīng)安裝好了 Redis 及 RedisPy庫，如果要做數(shù)據(jù)導入導出操作的話還需要安裝 RedisDump，如沒有安裝可以參考第一章的安裝說明。

RedisPy 庫提供兩個類 Redis 和 StrictRedis 用于實現(xiàn)Redis 的命令操作。

StrictRedis 實現(xiàn)了絕大部分官方的命令，參數(shù)也一一對應(yīng)，比如 set() 方法就對應(yīng) Redis 命令的 set 方法。而Redis 是 StrictRedis 的子類，它的主要功能是用于向后兼容舊版本庫里的幾個方法，為了做兼容，將方法做了改寫，比如 lrem() 方法就將 value 和 num 參數(shù)的位置互換，和Redis 命令行的命令參數(shù)不一致。

官方推薦使用 StrictRedis，所以本節(jié)我們也用 StrictRedis類的相關(guān)方法作演示。

當前在本地我已經(jīng)安裝了 Redis 并運行在 6379 端口，密碼設(shè)置為 foobared。

那么可以用如下示例連接 Redis 并測試：

from redis import StrictRedis

redis = StrictRedis(host="localhost", port=6379, db=0, password="foobared")
redis.set("name", "Bob")
print(redis.get("name"))

在這里我們傳入了 Redis 的地址，運行端口，使用的數(shù)據(jù)庫，密碼信息。在默認不傳的情況下，這四個參數(shù)分別為 localhost、6379、0、None?，F(xiàn)在我們聲明了一個StrictRedis 對象，然后接下來調(diào)用了 set() 方法，設(shè)置一個鍵值對，然后在將其獲取打印。

運行結(jié)果：

b"Bob"

這樣就說明我們連接成功，并可以執(zhí)行 set()、get() 操作了。

當然我們還可以使用 ConnectionPool 來連接，示例如下：

from redis import StrictRedis, ConnectionPool

pool = ConnectionPool(host="localhost", port=6379, db=0, password="foobared")
redis = StrictRedis(connection_pool=pool)

這樣的連接效果是一樣的，觀察源碼可以發(fā)現(xiàn) StrictRedis內(nèi)其實就是用 host、port 等參數(shù)又構(gòu)造了一個 ConnectionPool，所以我們直接將 ConnectionPool 當參數(shù)傳給 StrictRedis 也是一樣的。

另外 ConnectionPool 還支持通過 URL 來構(gòu)建，URL 的格式支持如下三種：

redis://[:password]@host:port/db
rediss://[:password]@host:port/db
unix://[:password]@/path/to/socket.sock?db=db

這三種 URL 分別表示創(chuàng)建 Redis TCP 連接、Redis TCP+SSL 連接、Redis Unix Socket 連接，我們只需要構(gòu)造上面任意一種連接 URL 即可，其中 password 部分如果有則可以寫，沒有可以省略，下面我們再用URL連接演示一下：

url = "redis://:foobared@localhost:6379/0"
pool = ConnectionPool.from_url(url)
redis = StrictRedis(connection_pool=pool)

在這里我們使用了第一種連接字符串進行連接，我們首先聲明了一個 Redis 連接字符串，然后調(diào)用 from_url() 方法創(chuàng)建一個 ConnectionPool，然后將其傳給 StrictRedis 即可完成連接，所以使用 URL 的連接方式還是比較方便的。

在這里主要將 Key 的一些判斷和操作方法做下總結(jié)：

Redis 中存在最基本的鍵值對形式存儲，用法總結(jié)如下：

List，即列表。Redis 還提供了列表存儲，列表內(nèi)的元素可以重復，而且可以從兩端存儲，用法總結(jié)如下：

Set，即集合。Redis 還提供了集合存儲，集合中的元素都是不重復的，用法總結(jié)如下：

Sorted Set，即有序集合，它相比集合多了一個分數(shù)字段，利用它我們可以對集合中的數(shù)據(jù)進行排序，其用法總結(jié)如下：

Hash，即哈希。Redis 還提供了哈希表的數(shù)據(jù)結(jié)構(gòu)，我們可以用name指定一個哈希表的名稱，然后表內(nèi)存儲了各個鍵值對，用法總結(jié)如下：

RedisDump 提供了強大的 Redis 數(shù)據(jù)的導入和導出功能，本節(jié)我們來看下它的具體用法。

首先確保已經(jīng)安裝好了 RedisDump。

RedisDump 提供兩個可執(zhí)行命令，redis-dump 用于導出數(shù)據(jù)，redis-load 用于導入數(shù)據(jù)。

我們可以首先輸入如下命令查看所有可選項：

redis-dump -h

運行結(jié)果如下：

Usage: redis-dump [global options] COMMAND [command options] 
    -u, --uri=S                      Redis URI (e.g. redis://hostname[:port])
    -d, --database=S                 Redis database (e.g. -d 15)
    -s, --sleep=S                    Sleep for S seconds after dumping (for debugging)
    -c, --count=S                    Chunk size (default: 10000)
    -f, --filter=S                   Filter selected keys (passed directly to redis" KEYS command)
    -O, --without_optimizations      Disable run time optimizations
    -V, --version                    Display version
    -D, --debug
        --nosafe

可以看到其參數(shù)，-u 代表 Redis 連接字符串，-d 代表數(shù)據(jù)庫代號，默認全部，-s 代表導出之后的休眠時間，-c 代表分塊大小，默認是 10000，-f 代表導出時的過濾器，-O 代表禁用運行時優(yōu)化，-V 顯示版本，-D 開啟調(diào)試。

我們拿本地的 Redis 做測試，運行在 6379 端口上，密碼為 foobared，導出命令如下：

redis-dump -u :foobared@localhost:6379

如果沒有密碼的話可以不加密碼前綴，命令如下：

redis-dump -u localhost:6379

運行之后可以將本地 0-15號 數(shù)據(jù)庫的所有數(shù)據(jù)輸出出來，例如：

{"db":0,"key":"name","ttl":-1,"type":"string","value":"James","size":5}
{"db":0,"key":"name2","ttl":-1,"type":"string","value":"Durant","size":6}
{"db":0,"key":"name3","ttl":-1,"type":"string","value":"Durant","size":6}
{"db":0,"key":"name4","ttl":-1,"type":"string","value":"HelloWorld","size":10}
{"db":0,"key":"name5","ttl":-1,"type":"string","value":"James","size":5}
{"db":0,"key":"name6","ttl":-1,"type":"string","value":"James","size":5}
{"db":0,"key":"age","ttl":-1,"type":"string","value":"1","size":1}
{"db":0,"key":"age2","ttl":-1,"type":"string","value":"-5","size":2}

每條數(shù)據(jù)都包含五個字段，db 即數(shù)據(jù)庫代號，key 即鍵名，ttl 即該鍵值對的有效時間，type 即鍵值類型，size 即占用空間。

如果想要將其輸出為 Json 行文件，可以使用如下命令：

redis-dump -u :foobared@localhost:6379 > ./redis_data.jl

這樣我們就可以成功將 Redis 的所有數(shù)據(jù)庫的所有數(shù)據(jù)導出成 Json 行文件了。

另外我們可以使用 -d 參數(shù)指定某個數(shù)據(jù)庫的導出，例如只導出 1 號數(shù)據(jù)庫的內(nèi)容：

redis-dump -u :foobared@localhost:6379 -d 1 > ./redis.data.jl

如果只想導出特定的內(nèi)容，如想導出 adsl 開頭的數(shù)據(jù)，可以加入 -f 參數(shù)用來過濾，命令如下：

redis-dump -u :foobared@localhost:6379 -f adsl:* > ./redis.data.jl

其中 -f 的參數(shù)即 Redis 的 keys 命令的參數(shù)，可以寫一些過濾規(guī)則。

我們同樣可以首先輸入如下命令查看所有可選項：

redis-load -h

運行結(jié)果如下：

redis-load --help
  Try: redis-load [global options] COMMAND [command options] 
    -u, --uri=S                      Redis URI (e.g. redis://hostname[:port])
    -d, --database=S                 Redis database (e.g. -d 15)
    -s, --sleep=S                    Sleep for S seconds after dumping (for debugging)
    -n, --no_check_utf8
    -V, --version                    Display version
    -D, --debug
        --nosafe

可以看到其參數(shù)，-u 代表 Redis 連接字符串，-d 代表數(shù)據(jù)庫代號，默認全部，-s 代表導出之后的休眠時間，-n 代表不檢測 UTF-8 編碼，-V 顯示版本，-D 開啟調(diào)試。

我們可以將 Json 行文件導入到 Redis 數(shù)據(jù)庫中：

< redis_data.json redis-load -u :foobared@localhost:6379

這樣就可以成功將 Json 行文件導入到數(shù)據(jù)庫中了。

另外如下命令同樣可以達到同樣的效果：

cat redis_data.json | redis-load -u :foobared@localhost:6379

以上便是 RedisDump 的使用概述，使用它我們可以高效便捷地實現(xiàn) Redis 數(shù)據(jù)庫的導入導出。

本節(jié)我們了解了 RedisPy 對 Redis 數(shù)據(jù)庫的一些基本操作，另外還了解了 RedisDump 對數(shù)據(jù)導入導出做了演示，由于其便捷和高效性，在后文我們會利用 Redis 實現(xiàn)很多架構(gòu)，如維護代理池、Cookies 池、ADSL 撥號代理池、ScrapyRedis 分布式架構(gòu)等，所以 Redis 的操作需要好好掌握。

上一篇文章：Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---33、數(shù)據(jù)存儲：非關(guān)系型數(shù)據(jù)庫存儲:MongoDB
下一篇文章：Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---35、 Ajax數(shù)據(jù)爬取