requests提供了一個叫做session類，來實現客戶端和服務端的會話保持使用方法1.實例化一個session對象2.讓session發送get或者post請求session=requests.session()session.get(url,headers)下面就用人人網來實戰一下#coding=utf-8importrequestssession=requests.session()#登錄的表單urlpost_url="http://www.ren
系統 2019-09-27 17:53:16 1962
這里爬取的是http://sc.chinaz.com/tag_tupian/OuMeiMeiNv.html網站獻上歐美美女！！！！fromlxmlimportetreeimporturllib.request,os,timeclassOuMeiSpider(object):def__init__(self,start_page,end_page):self.start_page=start_pageself.end_page=end_pageself.fi
系統 2019-09-27 17:53:14 1962
案例：爬取使用搜狗根據指定詞條搜索到的頁面數據（例如爬取詞條為‘周杰倫'的頁面數據）importurllib.request#1.指定urlurl='https://www.sogou.com/web?query=周杰倫''''2.發起請求:使用urlopen函數對指定的url發起請求，該函數返回一個響應對象，urlopen代表打開url'''response=urllib.request.urlopen(url=url)#3.獲取響應對象中的頁面數據:r
系統 2019-09-27 17:53:11 1962
sklearn.preprocessing.RobustScaler:Initsignature:RobustScaler(with_centering=True,with_scaling=True,quantile_range=(25.0,75.0),copy=True,)Docstring:Scalefeaturesusingstatisticsthatarerobusttooutliers.ThisScalerremovesthemedianands
系統 2019-09-27 17:52:43 1962
一、問題引出淺拷貝首先看下面代碼的執行情況：a=[1,2,3]print('a=%s'%a)#a=[1,2,3]b=aprint('b=%s'%b)#b=[1,2,3]a.append(4)#對a進行修改print('a=%s'%a)#a=[1,2,3,4]print('b=%s'%b)#b=[1,2,3,4]b.append(5)#對b進行修改print('a=%s'%a)#a=[1,2,3,4,5]print('b=%s'%b)#b=[1,2,3,4,
系統 2019-09-27 17:52:42 1962
在之前學習的RDD和DataFrame數據集主要處理的是離線數據，隨著時代發展進步，我們會發現越來越多數據是在源源不斷發回到數據中心，同時需要立刻響應給用戶，這樣的情況我們就會用到實時處理，常用的場景有實時顯示某商場一小時人流密度、實時顯示當天火車站人口總數等等。接下來從實時數據源說起，實時數據源主要有：FileSourceSocketSourceFlumeSourceKafkaSourceFileSource指的是文件作為數據來源，常用的有本地文件fil
系統 2019-09-27 17:52:32 1962
#-*-coding:utf-8-*-importdatetime#給定日期向后N天的日期defdateadd_day(days):d1=datetime.datetime.now()d3=d1+datetime.timedelta(days)returnd3#昨天defgetYesterday():today=datetime.date.today()oneday=datetime.timedelta(days=1)yesterday=today-one
系統 2019-09-27 17:52:22 1962
deftrans_map(cint):ifcint<0:print"不合法"returnelifcint<10:returncintelifcint>=10:returnchr(cint-10+65)#將一個m進制的數轉換為一個n進制的數deftransfer(m,n,origin):num=anyToTen(m,origin)target=tenToAny(n,num)printtargetdefanyToTen(m,origin):#任意進制的數轉換為
系統 2019-09-27 17:52:21 1962
python中eval函數的用法十分的靈活，這里主要介紹一下它的原理和一些使用的場合。下面是從python的官方文檔中的解釋：Theargumentsareastringandoptionalglobalsandlocals.Ifprovided,globalsmustbeadictionary.Ifprovided,localscanbeanymappingobject.Theexpressionargumentisparsedandevaluateda
系統 2019-09-27 17:52:12 1962
目錄1.分支結構1.1初步介紹1.2使用案例1.3練習2.循環結構1.1初步介紹1.2使用案例1.分支結構1.1初步介紹至今，我們所寫的Python代碼都是順序執行，但是有時候在代碼中是需要進行邏輯判斷的，比如用戶輸入用戶名和密碼，輸入正確則驗證通過，否則即驗證失敗。這個時候就會產生兩個分支，而且兩個分支只會有一條分支會走下去。當然，還有很多類似的場景，我們將這種結果稱為"分支結構"或“選擇結構”。語法格式：ifxxx1:事情1elifxxx2:事情2el
系統 2019-09-27 17:51:46 1962
