爬蟲抓取中國企業新聞監控平臺

中國企業新聞監控平臺是一個免費開源的專案,此專案可監控近千家中國企業的官方網站的新聞動態,如有更新,系統能在最短2分鐘之內通過郵件傳送更新的標題和連結。
更新的資訊流也可通過瀏覽器檢視。監控的公司和站點可以新增刪除。

中國企業新聞監控平臺

所需要的環境:系統需安裝MySQL和Redis資料庫以及Python3.
建議安裝Python3虛擬環境之後執行。後臺提供了介面化管理,支援使用者註冊和訂閱,能夠實現定期收到郵件推送,在公司欄可以檢視公司列表和新增公司,點選公司進入公司Profile頁可以編輯。

實現原理: 定期抓取網站html, 使用difflib比對新舊頁面原始碼,發現增加的部分,提取url和text,過濾篩選,儲存MySQL資料庫。
定期把更新的url和text,通過郵件傳送給訂閱者。

猜你喜歡

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *