隨著互聯(lián)網(wǎng)的迅速發(fā)展，互聯(lián)網(wǎng)大大提升了信息的產(chǎn)生和傳播速度，網(wǎng)絡(luò)上每天都會(huì)產(chǎn)生大量的內(nèi)容，如何高效地從這些雜亂無(wú)章的內(nèi)容中發(fā)現(xiàn)并采集所需的信息顯得越來(lái)越重要。網(wǎng)絡(luò)中的新聞內(nèi)容也一樣，新聞分布在不同的網(wǎng)站上，而且存在重復(fù)的內(nèi)容，我們往往只關(guān)心其中的一部分新聞，網(wǎng)絡(luò)中的新聞頁(yè)面往往還充斥著大量許多與新聞不相關(guān)的信息，影響了我們的閱讀效率和閱讀體驗(yàn)，如何更加方便及時(shí)并高效地獲取我們所關(guān)心的新聞內(nèi)容，本系統(tǒng)能夠幫我們做到這一點(diǎn)。本系統(tǒng)利用網(wǎng)絡(luò)爬蟲(chóng)我們可以做到對(duì)網(wǎng)絡(luò)上的新聞網(wǎng)站進(jìn)行定時(shí)定向的分析和采集，然后把采集到的數(shù)據(jù)進(jìn)行去重，分類等操作后存入數(shù)據(jù)庫(kù)，最后提供個(gè)性化的新聞?dòng)嗛喎?wù)。考慮了如何應(yīng)對(duì)網(wǎng)站的反爬蟲(chóng)策略，避免被網(wǎng)站封鎖爬蟲(chóng)。在具體實(shí)現(xiàn)上會(huì)使用Python配合scrapy等框架來(lái)編寫(xiě)爬蟲(chóng)，采用特定的內(nèi)容抽取算法來(lái)提取目標(biāo)數(shù)據(jù)，最后使用Django加上weui來(lái)提供新聞?dòng)嗛喓笈_(tái)和新聞內(nèi)容展示頁(yè)，使用微信向用戶推送信息。用戶可以通過(guò)本系統(tǒng)訂閱指定關(guān)鍵字，當(dāng)爬蟲(chóng)系統(tǒng)爬取到了含有指定關(guān)鍵字的內(nèi)容時(shí)會(huì)把新聞推送給用戶。

［關(guān)鍵詞］ 網(wǎng)絡(luò)爬蟲(chóng)；新聞；個(gè)性化；訂閱；Python

點(diǎn)擊此處下載文檔和源碼