<strike id="c6sos"></strike>

<del id="c6sos"></del>

<strike id="c6sos"></strike>

<fieldset id="c6sos"><table id="c6sos"></table></fieldset><del id="c6sos"></del>

python實(shí)現(xiàn)網(wǎng)頁截屏、查庫、發(fā)郵件（selenium、phantomjs、mailer、jinj

李文鵬發(fā)布于2019-07-30 15:14 / 1246人閱讀

摘要：使用實(shí)現(xiàn)網(wǎng)頁截屏查庫發(fā)郵件的。本是用于發(fā)周報(bào)郵件的，周報(bào)內(nèi)容包括數(shù)據(jù)庫中的記錄以及網(wǎng)頁指定元素的截屏。用于網(wǎng)頁截屏，用于傳遞參數(shù)。注意其中使用截取中為的元素的操作。

使用python（2.7）實(shí)現(xiàn)網(wǎng)頁截屏、查庫、發(fā)郵件的demo。用到了selenium、phantomjs、mailer、jinja2、mysqldb還有image，都是比較典型的用法，可復(fù)用性比較強(qiáng)，記錄分享一下。

本demo是用于發(fā)周報(bào)郵件的，周報(bào)內(nèi)容包括數(shù)據(jù)庫中的記錄以及網(wǎng)頁指定元素的截屏。linux中可以用crontab每周定時(shí)發(fā)送。需要發(fā)類似周報(bào)的同學(xué)這下輕松了！

代碼

直接看代碼吧，用的python2.7，關(guān)于第三方模塊的安裝，都很簡單，這里就不贅述了。

其中相關(guān)數(shù)據(jù)庫參數(shù)、郵件參數(shù)、網(wǎng)址等真實(shí)數(shù)據(jù)都處理掉了，自己注意替換補(bǔ)全。

#!/usr/bin/python
# -*-coding:utf-8 -*-
# Author: lvs

import MySQLdb.cursors
import datetime
from mailer import Mailer
from mailer import Message
from jinja2 import Environment, PackageLoader
from selenium import webdriver
from PIL import Image
from time import sleep


def fetch_results():
    today = datetime.datetime.today()
    seven_day_ago = today - datetime.timedelta(days=7)

    today_str = today.strftime("%Y-%m-%d")
    seven_day_ago_str = seven_day_ago.strftime("%Y-%m-%d")

    db = MySQLdb.connect(host="127.0.0.1", port=3306, user="test", passwd="test", db="test",
                         charset="utf8", cursorclass=MySQLdb.cursors.DictCursor)
    cursor = db.cursor()
    sql = "SELECT * FROM test.test WHERE start_time < "{today}" and start_time >= "{seven_day_ago}"".format(
        today=today_str, seven_day_ago=seven_day_ago_str)
    cursor.execute(sql)
    results = cursor.fetchall()
    db.close()
    return results


def screen_shot(event_id):
    driver = webdriver.PhantomJS(executable_path="/usr/local/phantomjs-2.1.1-linux-x86_64/bin/phantomjs")
    driver.set_page_load_timeout(5)
    driver.set_window_size("1920", "1080")

    url = "http://test.com/detail?id={}".format(event_id)
    driver.get(url)
    sleep(3)

    img_path = "/home/lvs/image/event_{}.png".format(event_id)
    driver.save_screenshot(img_path)

    element = driver.find_element_by_id("main")
    left = int(element.location["x"])
    top = int(element.location["y"])
    right = int(element.location["x"] + element.size["width"])
    bottom = int(element.location["y"] + element.size["height"])
    driver.quit()

    im = Image.open(img_path)
    im = im.crop((left, top, right, bottom))
    im.save(img_path)


def send_mail(results):
    env = Environment(loader=PackageLoader("jinja", "templates"))
    template = env.get_template("mail.html")

    message = Message(From="test@123.com", To="test@123.com", charset="utf-8")
    message.Subject = "這是郵件主題"
    message.Html = template.render(results=results)
    for r in results:
        #指定cid參數(shù)將嵌入郵件html內(nèi)容發(fā)送，不指定將作為附件發(fā)送
        message.attach("/home/lvs/image/event_{}.png".format(r["id"]), cid=r["id"])
        message.attach("/home/lvs/image/event_{}.png".format(r["id"]))

    sender = Mailer("test.smtp.com")
    sender.send(message)


if __name__ == "__main__":
    data = fetch_results()
    for row in data:
        screen_shot(row["id"])
    send_mail(data)

fetch_results()讀庫，返回結(jié)果，沒啥好說的。

screen_shot(event_id)用于網(wǎng)頁截屏，event_id用于傳遞url參數(shù)。使用selenium+phantomjs實(shí)現(xiàn)，都是python爬蟲很典型的工具。注意其中使用Image截取DOM中id為main的元素的操作。截取后保存到本地。

send_mail(results)自然是發(fā)郵件，利用了mailer和jinja2模板，其中env = Environment(loader=PackageLoader("jinja", "templates"))這一句是jinja2加載模板的代碼，模板位于與此py腳本文件同目錄的jinja包下templates目錄下的mail.html中。可以看下在mail中嵌入圖片和作為附件發(fā)送的操作。

mail.html內(nèi)容如下：




    
    
    




    
        
            最近一周事件記錄：
        
        
            
                {% for row in results %}
                
                {% endfor %}
            
                
                    事件名稱
                    事件類型
                    開始時(shí)間
                    結(jié)束時(shí)間
                    事件地點(diǎn)
                    事件描述
                    事件詳情
                

                    {{row["name"]}}
                    {{row["type"]}}
                    {{row["start_time"]}}
                    {{row["end_time"]}}
                    {{row["place"]}}
                    {{row["description"]}}