爬蟲的概念：
爬蟲就是獲取網頁并提取和保存信息的自動化程序
爬蟲的分類：
主要有四類：
通用網絡爬蟲，聚焦網絡爬蟲，增量式網絡爬蟲，深層網絡爬蟲
爬蟲的流程：
常見的幾種爬蟲問題：
主要有五類：
靜態網頁的爬取，Ajax數據的爬取，動態渲染頁面爬取，驗證碼的識別，代理的使用
常見的爬蟲框架：
pyspider框架，Scrapy框架
分布式爬蟲：
在多臺機器上運行爬蟲程序
爬蟲的一些常用"庫"：
解析庫：lxml;Beautiful Soup;pyquery;tesserocr
請求庫：requests;
數據庫：MySql;MongoDB;Redis
Web庫：Flask；Tornado
了解熟練這些基本上就對爬蟲有了很深的理解了。
爬蟲項目實戰：
抓取貓眼電影排行，爬取淘寶商品，幾種驗證碼的識別，使用代理爬取微信公眾號文章，使用Scrapy爬取新浪微博（分布式）
我會將自己所學的（以上所列的一一記錄在博客里），溫故而知新吧。
?
?
?
更多文章、技術交流、商務合作、聯系博主
微信掃碼或搜索：z360901061
微信掃一掃加我為好友
QQ號聯系： 360901061
您的支持是博主寫作最大的動力，如果您喜歡我的文章，感覺我的文章對您有幫助，請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧，狠狠點擊下面給點支持吧，站長非常感激您！手機微信長按不能支付解決辦法：請將微信支付二維碼保存到相冊，切換到微信，然后點擊微信右上角掃一掃功能，選擇支付二維碼完成支付。
【本文對您有幫助就好】元
