我瀏覽了下網上關于怎么Python爬蟲入門的文章，發現有的還在教人用urllib來發送http請求，這真是有點誤人子弟了。本文也不提倡剛開始去學習第三方爬蟲框架，我想把要學習的知識簡化一些，讓入門更快速，更專注。

Python爬蟲入門：技能

真要說Python爬蟲需要具備什么知識，那就是你得會Python，哈哈。

其他的知識就是你能熟練運用Python的幾個第三方庫，當然你具備一點html javascript css http協議 可以提高你的解決問題的效率，但這是一篇入門文章，我們不再這里討論。

為什么要這樣說呢？先來說說爬蟲是怎么一會事。

Python爬蟲入門：爬蟲流程

爬蟲程序的完整流程是：

1.通過網絡編程把網站上的網頁請求下來；
2.對這些網頁做數據抽取；
3.把抽取出來的數據存進數據庫(或文件)里。
4.循環重復上述步驟，為了抓取大量網頁。

下面對上述4個步驟做詳細說明：

步驟1：怎么把網頁請求下來，你就使用 Python requests 庫好了。requests庫強大而簡潔，他能幫你把網站上的網頁請求下來。
步驟2：對請求下來的網頁做數據抽取的方式很多。比如用lxml,xpath,BeautifulSoup這些Python庫，我這里對初學者推薦用正則式re庫，因為lxml,xpath那些的學習時間要長一點，而且對html要有點概念。你先學習下怎么寫正則表達式來抽取網頁里的數據。
步驟3：這很簡單，你是練習的話，你就先把抽取的數據寫進文件就好了。
步驟4：這是程序的設計邏輯問題，其實跟爬蟲本身不相關，要能循環重復上面的步驟，最簡單就是寫一個循環語句是吧。

一個爬蟲程序其實就是由上述幾個動作構成的，大量抓取網頁—>對抓取的網頁結構化—->把結構化的數據存進數據庫—>重復上述步驟。

我們會在4個動作上加入大量的代碼（這些代碼可能是你自己寫的，也可能是運用第三方Python庫來輔助寫的），其目的就是保證上述四個動作穩定，高效，精準。

比如要保證步驟1的穩定抓取，你要對requests庫的請求做容錯處理，記錄已經抓取的URL，防止重抓取，研究http header和對方網站的訪問頻率控制策略來降低你的爬蟲被屏蔽的概率。

比如要保證步驟2結構化數據的準確度，你就要用chrome瀏覽器去抓包，用正則表達式re庫久了，就會想要試著用下lxml,xpath看看解析網頁是否更快速，更準確等。

比如步驟4，等你想要大量高效率抓取網頁時，你可能會想試著把程序改成異步IO，或者多線程等。

以上就會讓一個原本只有幾十行代碼的爬蟲程序，膨脹到上百行，過千行代碼，我們稱之為較為高可用，高效率的爬蟲程序。

Python爬蟲入門：多動手練熟練

在實踐中提高Python爬蟲技能

我建議作為初學者，尤其如果你的Python又還不太熟悉時，你就從最簡單爬蟲開始寫起，你用這個程序去抓取網頁，在這個抓取網頁的過程中，你會遇到形形色色的網絡問題，網頁解析問題，被屏蔽問題，各種報錯，遇到問題就善用搜索引擎，去搜索解決方法，在解決這些問題的過程中，你的知識就在鞏固和提高，你對爬蟲的認知也在提高，這個時候你自己就會想有沒有第三方Pyhton庫可以來解決這些問題，自己是不是還有些知識點欠缺，這個時候你再反過來去學習相關知識點，這時候你的接受程度和理解程度就快速和容易很多。

如果你依然在編程的世界里迷茫，可以加入我們的Python學習扣qun：784758214，看看前輩們是如何學習的！交流經驗！自己是一名高級python開發工程師，從基礎的python腳本到web開發、爬蟲、django、數據挖掘等，零基礎到項目實戰的資料都有整理。送給每一位python的小伙伴！分享一些學習的方法和需要注意的小細節，點擊加入我們的 python學習者聚集地

總結一下：

作為初學者，你先學習python requests庫和re正則表達庫后，就開始寫爬蟲吧，多動手擼碼比什么都重要。

PS:python requests 運用熟練了，你就已能寫出一個有用處的爬蟲了。