爬蟲(chóng)是什么？

如果我們把互聯(lián)網(wǎng)比作一張大的蜘蛛網(wǎng)，數(shù)據(jù)便是存放于蜘蛛網(wǎng)的各個(gè)節(jié)點(diǎn)，而爬蟲(chóng)就是一只小蜘蛛，

沿著網(wǎng)絡(luò)抓取自己的獵物（數(shù)據(jù)）爬蟲(chóng)指的是：向網(wǎng)站發(fā)起請(qǐng)求，獲取資源后分析并提取有用數(shù)據(jù)的程序；

從技術(shù)層面來(lái)說(shuō)就是 通過(guò)程序模擬瀏覽器請(qǐng)求站點(diǎn)的行為，把站點(diǎn)返回的HTML代碼/JSON數(shù)據(jù)/二進(jìn)制數(shù)據(jù)（圖片、視頻） 爬到本地，進(jìn)而提取自己需要的數(shù)據(jù)，存放起來(lái)使用；

基本環(huán)境配置

版本：Python3

系統(tǒng)：Windows

IDE：Pycharm

爬蟲(chóng)所需工具：

請(qǐng)求庫(kù)：requests,selenium（可以驅(qū)動(dòng)瀏覽器解析渲染CSS和JS，但有性能劣勢(shì)（有用沒(méi)用的網(wǎng)頁(yè)都會(huì)加載）；）

解析庫(kù)：正則，beautifulsoup，pyquery

存儲(chǔ)庫(kù)：文件，MySQL，Mongodb，Redis

?

Python爬蟲(chóng)基本流程

?

基礎(chǔ)版：

?

函數(shù)封裝版

?

并發(fā)版

（如果一共需要爬30個(gè)視頻，開(kāi)30個(gè)線(xiàn)程去做，花的時(shí)間就是 其中最慢那份的耗時(shí)時(shí)間）

?

明白了Python爬蟲(chóng)的基本流程，然后對(duì)照代碼是不是覺(jué)得爬蟲(chóng)特別的簡(jiǎn)單呢？