代碼一：#!/usr/bin/python#-*-coding:utf-8-*-#encoding=utf-8importthreadingimportQueueimportsysimporturllib2importreimportMySQLdb##數據庫變量設置#DB_HOST='127.0.0.1'DB_USER="XXXX"DB_PASSWD="XXXXXXXX"DB_NAME="xxxx"##變量設置#THREAD_LIMIT=3jobs=Que
系統 2019-09-27 17:47:49 1612
采集內容常需要得到網頁返回的驗證碼做進一步處理下面代碼是用python寫的用來獲取網頁http狀態碼的腳本#!/usr/bin/python#-*-coding:utf-8-*-#encoding=utf-8#Filename:states_code.pyimporturllib2url='//www.jb51.net/'response=Nonetry:response=urllib2.urlopen(url,timeout=5)excepturllib
系統 2019-09-27 17:47:48 1612
在采集網頁信息的時候，經常需要偽造報頭來實現采集腳本的有效執行下面，我們將使用urllib2的header部分偽造報頭來實現采集信息方法1、#!/usr/bin/python#-*-coding:utf-8-*-#encoding=utf-8#Filename:urllib2-header.pyimporturllib2importsys#抓取網頁內容-發送報頭-1url="http://www.jb51.net"send_headers={'Host':'www.
系統 2019-09-27 17:47:48 1612
閑來無事，想看看python，網上看了一下教程，好像入門問題不大，那就說干就干。先大概了解一下python的語法。傳送門：https://www.runoob.com/python/python-tutorial.html最基礎的語法啊，balabala一堆，反正先看下，了解一下。然后就是來搭建一下環境，網上看了一下，linux如何搭建python環境，一看嚇一跳，linux本身自帶python運行環境。這么刺激的嘛，趕緊打開我的linux，先瞅瞅：終端下
系統 2019-09-27 17:47:45 1612
Pythonlist內置sort()方法用來排序，也可以用python內置的全局sorted()方法來對可迭代的序列排序生成新的序列。1）排序基礎簡單的升序排序是非常容易的。只需要調用sorted()方法。它返回一個新的list，新的list的元素基于小于運算符(__lt__)來排序。>>>sorted([5,2,3,1,4])[1,2,3,4,5]你也可以使用list.sort()方法來排序，此時list本身將被修改。通常此方法不如sorted()方便，
系統 2019-09-27 17:47:37 1612
博主之前寫過各種排序方法的詳細分析，于是在這個地方直接放上示例代碼示例代碼如下：#encoding:utf-8defquick_sort(lists,left,right):#快速排序ifleft>=right:returnlistskey=lists[left]low=lefthigh=rightwhileleft
系統 2019-09-27 17:47:30 1612
windows10：1，先要pip安裝pydotplus和graphviz：pipinstallpydotpluspipinstallgraphviz2，www.graphviz.org下載msi文件并安裝。3，系統環境變量path中增加兩項：C:\ProgramFiles(x86)\Graphviz2.38\binC:\ProgramFiles(x86)\Graphviz2.38#確認graphviz是安裝在上面路徑當中。4，python中使用方法：fr
系統 2019-09-27 17:47:26 1612
0x00marshalmarshal使用的是與Python語言相關但與機器無關的二進制來讀寫Python對象的。這種二進制的格式也跟Python語言的版本相關，marshal序列化的格式對不同的版本的Python是不兼容的。marshal一般用于Python內部對象的序列化。一般地包括：基本類型booleans,integers,floatingpointnumbers,complexnumbers序列集合類型strings,bytes,bytearray
系統 2019-09-27 17:47:22 1612
還是分析一下大體的流程：首先還是Chrome瀏覽器抓包分析元素，這是網址：https://www.douyu.com/directory/all發現所有房間的信息都是保存在一個無序列表中的li中，所以我們可以先獲取一個裝有li的element對象的列表，然后在對每個element逐一操作分析斗魚的翻頁，有一個下一頁按鈕，是個li，class="dy-Pagination-item-custom"，但是當煩到最后一頁的時候，class="dy-Paginat
系統 2019-09-27 17:47:21 1612
在python的官方文檔中：getattr()的解釋如下：getattr(object,name[,default])Returnthevalueofthenamedattributeofobject.namemustbeastring.Ifthestringisthenameofoneoftheobject'sattributes,theresultisthevalueofthatattribute.Forexample,getattr(x,'fooba
系統 2019-09-27 17:47:19 1612
