上一小節老袁給曉白介紹了python-web開發工程師主要做什么，并從初中高級三個層次分析了這個崗位的具體需求。本節繼續介紹python爬蟲工程師的一些具體要求。

?

python 爬蟲工程師

該崗位做什么？

python爬蟲工程師主要是從網上爬取各種數據，然后對數據做整理和簡單的存儲。具體的職責如下：

1. 設計并實現公司的爬蟲軟件
2. 設計并實現網絡數據的抓取規則，可以定期爬取指定的網站
3. 設計爬蟲策略和防屏蔽規則，提高網頁抓取效率和質量
4. 實現數據提取，清洗，結構化，數據庫存儲和統計分析

爬蟲工程師的工作結果是公司做數據分析的基礎，公司在拿到這些數據以后，再對數據做進一步的分析，統計和圖形化展示。

崗位的具體需求

那python爬蟲開發崗都有哪些具體需求呢？我們先來看一個公司爬蟲開發的崗位職責和崗位要求，如下圖。

該公司這個崗位的薪資給到7---10K，屬于一個初中級的python爬蟲開發崗位。該崗位的爬蟲要求寫的比較詳細，總結如下：

1. 首先對python基礎有一定的要求，要求精通python（第2條）。
2. 對linux操作系統有要求，估計該公司的爬蟲是運行在linux操作系統上面，所以要求熟悉linux操作系統的python開發（第2條）。
3. 該公司的爬蟲應該是使用scrapy框架來構建的，所以要求熟悉python爬蟲框架scrapy和一些爬蟲工具（第2條）。
4. 熟悉關系型數據庫mysql，非關系型數據庫mongodb，可用作緩存的數據庫redis。（第3條）
5. 熟悉http協議（第4條）。網頁數據就是基于http協議傳輸的，爬蟲的主要工作就是抓取http中的一些數據，再對數據進行提取。
6. 熟悉用作字符匹配，提取數據的正則表達式。熟悉頁面分析工具xpath和css選擇器。這些技能都是提取頁面數據必備的。（第4條）
7. 因為很多網站登錄都需要輸入驗證碼，所以需要了解常用驗證碼技術及爬蟲模擬輸入驗證碼。（第4條）
8. 很多網站會有一些反爬策略，所以該公司有一些解決反爬問題策略的要求。（第5條）

那么薪資更高的爬蟲崗位的要求如何呢？下面有三張截圖，前兩張是兩個薪資給到10K---15K的爬蟲崗位，最后一張是一個薪資給到15K---25K的爬蟲崗位。我們可以先一下他們的具體要求。

薪資10---15K

薪資10---15K

薪資15---25K

從上面的截圖我們可以總結更高薪資的爬蟲崗位有如下更多的要求。

1. 更多的工作經驗，尤其是大型電商網站，移動端應用數據爬取的經驗
2. 有大數據量，高并發，海量數據爬取的經驗
3. 熟悉分布式爬蟲
4. 熟悉反爬及破解技術
5. 掌握更多的編程語言
6. 掌握一些python后端開發框架

所以，如果你想開啟自己的爬蟲職業生涯，就應該按照文中總結的崗位要求出發。把python基礎打好，掌握爬蟲的基本原理和爬蟲的編程，要能夠理解和分析前端代碼，理解HTTP通信原理，能夠熟練的使用爬蟲相關的包，能夠熟練使用python的爬蟲框架比如scrapy。因為有些爬蟲需要和服務端結合，所以也要熟悉一些python后端開發框架，

如果想在爬蟲領域有更大的發展，拿到更高的薪資，那就需要掌握分布式爬蟲的設計，做更多類型爬蟲的開發，接觸更多大數據高并發爬蟲的設計和開發。

關于爬蟲的崗位我們就先聊到這，下一小節我們說一下自動化測試，自動化運維和人工智能等于python相關的崗位。