前面十章爬蟲筆記陸陸續續記錄了一些簡單的Python爬蟲知識，用來解決簡單的貼吧下載，績點運算自然不在話下。不過要想批量下載大量的內容，比如知乎的所有的問答，那便顯得游刃不有余了點。于是乎，爬蟲框架Scrapy就這樣出場了！Scrapy=Scrach+Python，Scrach這個單詞是抓取的意思，Scrapy的官網地址：點我點我。那么下面來簡單的演示一下Scrapy的安裝流程。具體流程參照：//www.jb51.net/article/48607.htm
系統 2019-09-27 17:54:46 1628
#!/usr/bin/python#coding:utf-8importnumpyasnpa=np.array([1,2,3])b=np.array([[1,2,3],[4,5,6],[7,8,9]])#shape是維度，dtype是元素的類型printa.shapeprinta.dtype#使用函數生成等差數列數組x1=np.arange(1,11,2)x2=np.linspace(1,9,5)printx1,x2#求數組中的最大值和最小值printnp
系統 2019-09-27 17:54:45 1628
前言今天我們再說一下pytest框架和unittest框架相同的fixture的使用，了解unittest的同學應該知道我們在初始化環境和銷毀工作時，unittest使用的是setUp，tearDown方法，那么在pytest框架中同樣存在類似的方法，今天我們就來具體說明。先附上官方文檔的一段說明1.每個級別的setup/teardown都可以多次復用2.如果相應的初始化函數執行失敗或者被跳過則不會執行teardown方法3.在pytest4.2之前，xu
系統 2019-09-27 17:54:40 1628
k8spythonapi二次封裝pipinstallpprintkubernetesimporturllib3frompprintimportpprintfromkubernetesimportclientfromosimportpathimportyamlclassK8sApi(object):def__init__(self):#self.config=config.kube_config.load_kube_config()urllib3.disab
系統 2019-09-27 17:54:23 1628
有時候我們的爬蟲程序添加了代理，但是我們不知道程序是否獲取到了ip，尤其是動態轉發模式的，這時候就需要進行檢測了，以下是一種代理是否偽裝成功的檢測方式，這里推介使用億牛云提供的代碼示例。Python?requests#!-*-encoding:utf-8-*-importrequestsimportrandom#要訪問的目標頁面targetUrl="http://httpbin.org/ip"#要訪問的目標HTTPS頁面#targetUrl="https:
系統 2019-09-27 17:54:07 1628
點擊上方“何俊林”，馬上關注真愛，請置頂或星標在一個陽光明媚的周日，我打開窗戶呼吸了一口新鮮空氣。陽光燦爛，歲月靜好，又是一個約女朋友出去爬山吃飯看電影的好日子。想到女朋友的大眼睛，我臉上不禁洋溢起了幸福的微笑。打開微信，給女朋友發出去一個美好的邀約。等等，這為什么有一個感嘆號？？？我的消息被拒收了？？笑容凝固在了我的臉上。什么？她又一次拉黑了我？我開始反省：我昨天吃飯買單的時候找錢包找的太久了被她誤認為是遲疑？昨天清空她購物車的時候沒有舉一反三融會貫通？
系統 2019-09-27 17:54:03 1628
使用Tkinter(py2.7)text文本框中輸入內容在界面中顯示?C較為規整的代碼：importTkinterastkclassWindow:def__init__(self,handle):self.win=handleself.createwindow()self.run()defcreatewindow(self):self.win.geometry('400x400')#label1self.label_text=tk.StringVar()s
系統 2019-09-27 17:54:01 1628
range([start],[end],[long])描述：根據range里的參數生成指定范圍指定步長的一個序列參數：[start]——指定范圍的左邊界，可取到[end]——指定范圍的右邊界，不可取到[long]——步長，若無步長，默認為1返回值：列表實例：>>>range(0,6,2)[0,2,4]>>>range(5)[0,1,2,3,4]xrange()描述：用法與range完全相同，生成的不是數組，而是一個生成器實例：>>>xrange(0,6,2
系統 2019-09-27 17:54:01 1628
變量不是盒子在示例所示的交互式控制臺中，無法使用“變量是盒子”做解釋。圖說明了在Python中為什么不能使用盒子比喻，而便利貼則指出了變量的正確工作方式。變量a和b引用同一個列表，而不是那個列表的副本>>>a=[1,2,3]>>>b=a>>>a.append(4)>>>b[1,2,3,4]如果把變量想象為盒子，那么無法解釋Python中的賦值；應該把變量視作便利貼，這樣示例中的行為就好解釋了注意：對引用式變量來說，說把變量分配給對象更合理，反過來說就有問題
系統 2019-09-27 17:53:57 1628
前言如果你曾經寫過或者用過Python，你可能已經習慣了看到Python源代碼文件；它們的名稱以.Py結尾。你可能還見過另一種類型的文件是.pyc結尾的，它們就是Python“字節碼”文件。(在Python3的時候這個.pyc后綴的文件不太好找了,它在一個名為__pycache__的子目錄下面。).pyc文件可以防止Python每次運行時都重新解析源代碼，該文件大大節省了時間。Python是如何工作的Python通常被描述為一種解釋語言，在這種語言中，你的
系統 2019-09-27 17:53:52 1628
