抓取動態的網頁內容主要有兩種辦法，一種是通過開發者工具找到動態內容的接口，然后分析接口的參數和返回值來爬取網站的數據。另外一種是通過模擬瀏覽器來抓取數據。python的Selenium庫就可以通過代碼來模擬瀏覽器抓取數據。一、概述運行Selenium需要依賴于Python的selenium庫，以及瀏覽器對應驅動器（WebDriver）。安裝selenium庫pipinstallselenium項目地址：https://pypi.org/project/se
系統 2019-09-27 17:47:10 1889
首先通過一個例子來看一下本文中可能用到的對象和相關概念。復制代碼代碼如下:#coding:UTF-8importsys#模塊，sys指向這個模塊對象importinspectdeffoo():pass#函數，foo指向這個函數對象classCat(object):#類，Cat指向這個類對象def__init__(self,name='kitty'):self.name=namedefsayHi(self):#實例方法，sayHi指向這個方法對象，使用類或實
系統 2019-09-27 17:46:49 1889
本文所述的Python實現冒泡，插入，選擇排序簡單實例比較適合Python初學者從基礎開始學習數據結構和算法，示例簡單易懂，具體代碼如下：#-*-coding:cp936-*-#python插入排序definsertSort(a):foriinrange(len(a)-1):#printa,iforjinrange(i+1,len(a)):ifa[i]>a[j]:temp=a[i]a[i]=a[j]a[j]=tempreturna#Python的冒泡排序d
系統 2019-09-27 17:46:45 1889
項目目錄結構：按照下圖所示創建build文件夾及內容Dockerfile:FROMubuntu:16.04FROMpython:3.6ENVhttp_proxy=http://172.16.6.67:3128ENVhttps_proxy=http://172.16.6.67:3128RUNapt-get-yupdate&&\apt-get-yupgrade&&\apt-getinstall-y\vim\git\python3-dev\python3-set
系統 2019-09-27 17:46:45 1889
學習Python的第一天,也是我第一次寫博客的一天,不怎么會寫博客,也不怎么會Python,也不怎么會寫總結.在學Python的第一天發現自己腦子不是很好用,在學習過程中出現很多錯誤,錯誤錦集如下,哈哈哈哈,要加油.以后要注意不要再犯下面的錯誤了,不然以后在工作中很難獨立完成,也容易出現很多錯誤,這樣就不好了啊!!!下面是我的知識總結和錯誤總結,如果有IT大佬看見了,希望能指出我的不足之處,讓我好改進改進,可以進步.======我======是======
系統 2019-09-27 17:46:07 1889
這次只演示了，如何在真實項目內用到BeautifulSoup庫來解析網頁，而新浪的新聞是ajax加載過來的數據，在這里我們只演示解析部分數據（具體反扒機制沒做分析）。代碼地址：https://gitee.com/dwyui/BeautifulSoup_xinlang.git。關于的爬蟲的博客已經越來越多，使用到的技術也越來越多，后期我還會持續寫下去，大概從幾個角度去寫，多線程爬取（提高效率），如何更好的做到爬取數據（破解反扒）。用redis管理多線程和代理
系統 2019-09-27 17:45:54 1889
1.文件的讀取和顯示方法1：復制代碼代碼如下:f=open(r'G:\2.txt')printf.read()f.close()方法2：復制代碼代碼如下:try:t=open(r'G:\2.txt')printt.read()finally:ift:t.close()方法3：復制代碼代碼如下:withopen(r'g:\2.txt')asg:forlineing:printlinepython雖然每次打開文件都要關閉，但是可能會由于異常導致未關閉，因此我們
系統 2019-09-27 17:45:38 1889
1.編譯nginx在網上買了一本《實戰nginx-取代Apache的高性能服務器》，寫的比較淺，主要是些配置方面的東西，不過卻正是目前我所需要的。由于需要支持https和rewrite，所以除了nginx的源碼之外，又下載了openssl-0.9.8r.tar.gz和pcre-8.12.tar.gz，把他們和nginx-1.0.4.tar.gz放到同一個目錄。為了方便編譯，筆者寫了一個腳本，代碼如下:#!/bin/bash#================
系統 2019-09-27 17:38:47 1889
1、python多進程編程背景python中的多進程最大的好處就是充分利用多核cpu的資源，不像python中的多線程，受制于GIL的限制，從而只能進行cpu分配，在python的多進程中，適合于所有的場合，基本上能用多線程的，那么基本上就能用多進程。在進行多進程編程的時候，其實和多線程差不多，在多線程的包threading中，存在一個線程類Thread，在其中有三種方法來創建一個線程，啟動線程，其實在多進程編程中，存在一個進程類Process，也可以使用
系統 2019-09-27 17:38:21 1889
在使用google或者baidu搜圖的時候會發現有一個圖片顏色選項，感覺非常有意思，有人可能會想這肯定是人為的去劃分的，呵呵，有這種可能，但是估計人會累死，開個玩笑，當然是通過機器識別的，海量的圖片只有機器識別才能做到。那用python能不能實現這種功能呢？答案是：能利用python的PIL模塊的強大的圖像處理功能就可以做到，下面上代碼：importcolorsysdefget_dominant_color(image):#顏色模式轉換，以便輸出rgb顏色
系統 2019-09-27 17:38:08 1889
