抓取動(dòng)態(tài)的網(wǎng)頁內(nèi)容主要有兩種辦法，一種是通過開發(fā)者工具找到動(dòng)態(tài)內(nèi)容的接口，然后分析接口的參數(shù)和返回值來爬取網(wǎng)站的數(shù)據(jù)。另外一種是通過模擬瀏覽器來抓取數(shù)據(jù)。python的Selenium庫就可以通過代碼來模擬瀏覽器抓取數(shù)據(jù)。一、概述運(yùn)行Selenium需要依賴于Python的selenium庫，以及瀏覽器對(duì)應(yīng)驅(qū)動(dòng)器（WebDriver）。安裝selenium庫pipinstallselenium項(xiàng)目地址：https://pypi.org/project/se
系統(tǒng) 2019-09-27 17:47:10 1889
首先通過一個(gè)例子來看一下本文中可能用到的對(duì)象和相關(guān)概念。復(fù)制代碼代碼如下:#coding:UTF-8importsys#模塊，sys指向這個(gè)模塊對(duì)象importinspectdeffoo():pass#函數(shù)，foo指向這個(gè)函數(shù)對(duì)象classCat(object):#類，Cat指向這個(gè)類對(duì)象def__init__(self,name='kitty'):self.name=namedefsayHi(self):#實(shí)例方法，sayHi指向這個(gè)方法對(duì)象，使用類或?qū)?/span>
系統(tǒng) 2019-09-27 17:46:49 1889
本文所述的Python實(shí)現(xiàn)冒泡，插入，選擇排序簡(jiǎn)單實(shí)例比較適合Python初學(xué)者從基礎(chǔ)開始學(xué)習(xí)數(shù)據(jù)結(jié)構(gòu)和算法，示例簡(jiǎn)單易懂，具體代碼如下：#-*-coding:cp936-*-#python插入排序definsertSort(a):foriinrange(len(a)-1):#printa,iforjinrange(i+1,len(a)):ifa[i]>a[j]:temp=a[i]a[i]=a[j]a[j]=tempreturna#Python的冒泡排序d
系統(tǒng) 2019-09-27 17:46:45 1889
項(xiàng)目目錄結(jié)構(gòu)：按照下圖所示創(chuàng)建build文件夾及內(nèi)容Dockerfile:FROMubuntu:16.04FROMpython:3.6ENVhttp_proxy=http://172.16.6.67:3128ENVhttps_proxy=http://172.16.6.67:3128RUNapt-get-yupdate&&\apt-get-yupgrade&&\apt-getinstall-y\vim\git\python3-dev\python3-set
系統(tǒng) 2019-09-27 17:46:45 1889
學(xué)習(xí)Python的第一天,也是我第一次寫博客的一天,不怎么會(huì)寫博客,也不怎么會(huì)Python,也不怎么會(huì)寫總結(jié).在學(xué)Python的第一天發(fā)現(xiàn)自己腦子不是很好用,在學(xué)習(xí)過程中出現(xiàn)很多錯(cuò)誤,錯(cuò)誤錦集如下,哈哈哈哈,要加油.以后要注意不要再犯下面的錯(cuò)誤了,不然以后在工作中很難獨(dú)立完成,也容易出現(xiàn)很多錯(cuò)誤,這樣就不好了啊!!!下面是我的知識(shí)總結(jié)和錯(cuò)誤總結(jié),如果有IT大佬看見了,希望能指出我的不足之處,讓我好改進(jìn)改進(jìn),可以進(jìn)步.======我======是======
系統(tǒng) 2019-09-27 17:46:07 1889
這次只演示了，如何在真實(shí)項(xiàng)目?jī)?nèi)用到BeautifulSoup庫來解析網(wǎng)頁，而新浪的新聞是ajax加載過來的數(shù)據(jù)，在這里我們只演示解析部分?jǐn)?shù)據(jù)（具體反扒機(jī)制沒做分析）。代碼地址：https://gitee.com/dwyui/BeautifulSoup_xinlang.git。關(guān)于的爬蟲的博客已經(jīng)越來越多，使用到的技術(shù)也越來越多，后期我還會(huì)持續(xù)寫下去，大概從幾個(gè)角度去寫，多線程爬取（提高效率），如何更好的做到爬取數(shù)據(jù)（破解反扒）。用redis管理多線程和代理
系統(tǒng) 2019-09-27 17:45:54 1889
裝飾器：概念：把一個(gè)函數(shù)當(dāng)作參數(shù)傳遞給一個(gè)函數(shù)，返回一個(gè)替代版的函數(shù)本質(zhì)上就是一個(gè)返回函數(shù)的函數(shù)“在不改變?cè)瘮?shù)的基礎(chǔ)上，給函數(shù)增加功能”@符號(hào)，那只是一個(gè)簡(jiǎn)短的方式來生成一個(gè)被裝飾的函數(shù)defpaint(func):參數(shù)是一個(gè)函數(shù)definner():print('#########')這個(gè)的整個(gè)部分就都是裝飾器func()returninner@paint這個(gè)就是函數(shù)戴帽子，也就是裝飾器deffunc():print('haveaniceday!!')
系統(tǒng) 2019-09-27 17:45:41 1889
1.編譯nginx在網(wǎng)上買了一本《實(shí)戰(zhàn)nginx-取代Apache的高性能服務(wù)器》，寫的比較淺，主要是些配置方面的東西，不過卻正是目前我所需要的。由于需要支持https和rewrite，所以除了nginx的源碼之外，又下載了openssl-0.9.8r.tar.gz和pcre-8.12.tar.gz，把他們和nginx-1.0.4.tar.gz放到同一個(gè)目錄。為了方便編譯，筆者寫了一個(gè)腳本，代碼如下:#!/bin/bash#================
系統(tǒng) 2019-09-27 17:38:47 1889
1、python多進(jìn)程編程背景python中的多進(jìn)程最大的好處就是充分利用多核cpu的資源，不像python中的多線程，受制于GIL的限制，從而只能進(jìn)行cpu分配，在python的多進(jìn)程中，適合于所有的場(chǎng)合，基本上能用多線程的，那么基本上就能用多進(jìn)程。在進(jìn)行多進(jìn)程編程的時(shí)候，其實(shí)和多線程差不多，在多線程的包threading中，存在一個(gè)線程類Thread，在其中有三種方法來創(chuàng)建一個(gè)線程，啟動(dòng)線程，其實(shí)在多進(jìn)程編程中，存在一個(gè)進(jìn)程類Process，也可以使用
系統(tǒng) 2019-09-27 17:38:21 1889
在使用google或者baidu搜圖的時(shí)候會(huì)發(fā)現(xiàn)有一個(gè)圖片顏色選項(xiàng)，感覺非常有意思，有人可能會(huì)想這肯定是人為的去劃分的，呵呵，有這種可能，但是估計(jì)人會(huì)累死，開個(gè)玩笑，當(dāng)然是通過機(jī)器識(shí)別的，海量的圖片只有機(jī)器識(shí)別才能做到。那用python能不能實(shí)現(xiàn)這種功能呢？答案是：能利用python的PIL模塊的強(qiáng)大的圖像處理功能就可以做到，下面上代碼：importcolorsysdefget_dominant_color(image):#顏色模式轉(zhuǎn)換，以便輸出rgb顏色
系統(tǒng) 2019-09-27 17:38:08 1889
