摘要：第三節協程繼續基礎框架搭好了，下面來正式的來一個項目吧全球設計師的作品展示平臺就從這拉幾張圖吧，具體的網頁解析方式網上有很多，在此略過，我已經取出了一些圖片地址，保存在了里，這次就用這些吧。
第三節 協程！？
繼續...基礎框架搭好了，下面來正式的來一個項目吧
behance
全球設計師的作品展示平臺
就從這拉幾張圖吧，具體的網頁解析方式網上有很多，在此略過，我已經取出了一些圖片地址，保存在了list.txt里，這次就用這些吧。
綜合多種因素，最后選用了協程來下載圖片
即asyncio
框架則用了aiohttp
實現思路：
目的
將網絡上的圖片（最好是縮略圖）先下載到本地，記錄圖片信息，比如ID以便獲得更高質量的圖片，將圖片顯示到界面
問題
為了更快速的展示頁面，我需要同時下載一定數量的圖片...
我需要動態的將下載任務發送給后臺服務...
這里可以在程序啟動的時候設置一個配置列表cfg
from os import path as osPath, getcwd, mkdir
...
def __init__(self):
...
self.cfg = self.initCfg()
def initCfg(self):
cfg = {}
# 代理，沒有可不用設置
# cfg["proxies"] = "127.0.0.1:61274"
# 加載圖片列表
filename = "list.txt"
if osPath.exists(filename):
with open(filename, "r") as f:
cfg["picList"] = f.read().strip().split("
")
# 設置圖片的保存位置
current_folder = getcwd()
cfg["pic_temp"] = osPath.join( current_folder, "pic_temp")
if not osPath.isdir( cfg["pic_temp"] ):
mkdir(cfg["pic_temp"])
return cfg
然后傳遞給服務進程就可以了
p = Process(target = startServiceP, args = ( self.GuiQueue, self.ServiceQueue, self.cfg ))
先來修改一下html的內容，添加一個自定義控件，用來存放圖片：
在服務進程ServiceEvent里添加一個方法getPicByList()
def getPicByList(self, msg):
# 為圖片創建占位圖
imgidList = self.__creatPlaceholderImg()
for imgid in imgidList:
picHttp = self.cfg["picList"].pop(0)
file_name = picHttp.split("/")[-1]
file_path = osPath.join( self.cfg["pic_temp"], file_name )
# 圖片下載完成后需要執行的任務
_GuiRecvMsgDict = {
"fun" : "setImgBg",
"msg" : {"id":imgid,"fpath":file_path}
}
if not osPath.isfile(file_path):
# 將下載任務動態添加到協程循環中
self.__run_coroutine_threadsafe(
{"id": imgid,"http": picHttp,"fpath": file_path},
_GuiRecvMsgDict
)
else:
self.__putGui( "setImgBg", {"id":imgid,"fpath":file_path} )
當用戶點擊下載圖片的按鈕后會執行到這個方法，為了更好的體驗，在圖片下載之前先為其占據了空間，可以在其上顯示loading動畫，更重要的一點是，通過它可以控制圖片的顯示順序，因為用協程下載圖片，你無法預知完成的順序...
def __creatPlaceholderImg(self):
# 先創建5個占位圖
html = ""
imgidList = []
time_now = ""
for i in range(0, 5):
time_now = "-".join( ( str(i), str(time()) ) )
# 儲存圖片的id
imgidList.append( time_now )
html += self.html % ( time_now )
self.__putGui("creatPlaceholderImg", html)
return imgidList
之后就到了動態創建協程的部分了
def __run_coroutine_threadsafe(self, data, _GuiRecvMsgDict):
asyncio.run_coroutine_threadsafe(self.dld.stream_download(
data,
_GuiRecvMsgDict
), self.new_loop)
但在正式介紹run_coroutine_threadsafe()之前，我們需要先開啟一個協程循環
但我們已經開啟了一個用于處理隊列的循環了，沒辦法再開一個（也不排除是咱太菜），于是另開了一個線程專來處理協程
class ServiceEvent(object):
"""服務進程"""
def __init__(self, _GuiQueue, cfg):
...
# 主線程中創建一個事件循環
self.new_loop = asyncio.new_event_loop()
self.dld = AsyncioDownload( self.new_loop, self.GuiQueue, self.proxies )
class AsyncioDownload(object):
"""使用協程下載圖片"""
def __init__(self, loop, _GuiRecvMsg, proxies=None ):
self.GuiRecvMsg = _GuiRecvMsg
self._session = None
self.loop = loop
self.prox = "".join(("http://", proxies)) if proxies else proxies
self.timeout = 10
# 啟動一個線程，傳遞主線程中創建的事件循環
t = Thread(target=self.start_loop, args=(self.loop,))
t.setDaemon(True) # 設置子線程為守護線程
t.start()
def start_loop(self, loop):
# 啟動事件循環
asyncio.set_event_loop(loop)
loop.run_forever()
def __session(self):
if self._session is None:
self._session = aiohttp.ClientSession(loop=self.loop)
return self._session
async def stream_download(self, d, _GuiRecvMsgDict):
try:
client = self.__session()
async with client.get( d["http"], proxy=self.prox, timeout=self.timeout) as response:
if response.status != 200:
print("error")
return
# 保存圖片到本地
if not osPath.isfile(d["fpath"]):
with open(d["fpath"], "ab") as file:
while True:
chunk = await response.content.read(1024)
if not chunk:
break
file.write(chunk)
# 圖片下載完成后告知主線程
self.GuiRecvMsg.put(_GuiRecvMsgDict)
except asyncio.TimeoutError:
pass
最后，主進程獲得圖片的id及路徑，顯示到窗口中
function setImgBg( d ){
var div = $(div[imgid="{d.id}"]);
if(div){
div.post( ::this.style#background-image = "url(" + d.fpath + ")" );
}
}
源碼
總結：
完成這個項目使用了
多進程 ---- 后臺服務
多線程 ---- 事件循環
協程 ---- IO操作
相對一個單純的爬蟲腳本來說，還是有點復雜的，尤其是交互，難怪這么多人不愿意寫界面...
雖然還有不足，但本次項目的內容就到這了。
謝謝。
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/40761.html
