在之前學(xué)習(xí)的RDD和DataFrame數(shù)據(jù)集主要處理的是離線數(shù)據(jù)，隨著時代發(fā)展進(jìn)步，我們會發(fā)現(xiàn)越來越多數(shù)據(jù)是在源源不斷發(fā)回到數(shù)據(jù)中心，同時需要立刻響應(yīng)給用戶，這樣的情況我們就會用到實(shí)時處理，常用的場景有實(shí)時顯示某商場一小時人流密度、實(shí)時顯示當(dāng)天火車站人口總數(shù)等等。接下來從實(shí)時數(shù)據(jù)源說起，實(shí)時數(shù)據(jù)源主要有：FileSourceSocketSourceFlumeSourceKafkaSourceFileSource指的是文件作為數(shù)據(jù)來源，常用的有本地文件fil
系統(tǒng) 2019-09-27 17:52:32 1962
#-*-coding:utf-8-*-importdatetime#給定日期向后N天的日期defdateadd_day(days):d1=datetime.datetime.now()d3=d1+datetime.timedelta(days)returnd3#昨天defgetYesterday():today=datetime.date.today()oneday=datetime.timedelta(days=1)yesterday=today-one
系統(tǒng) 2019-09-27 17:52:22 1962
deftrans_map(cint):ifcint<0:print"不合法"returnelifcint<10:returncintelifcint>=10:returnchr(cint-10+65)#將一個m進(jìn)制的數(shù)轉(zhuǎn)換為一個n進(jìn)制的數(shù)deftransfer(m,n,origin):num=anyToTen(m,origin)target=tenToAny(n,num)printtargetdefanyToTen(m,origin):#任意進(jìn)制的數(shù)轉(zhuǎn)換為
系統(tǒng) 2019-09-27 17:52:21 1962
python中eval函數(shù)的用法十分的靈活，這里主要介紹一下它的原理和一些使用的場合。下面是從python的官方文檔中的解釋：Theargumentsareastringandoptionalglobalsandlocals.Ifprovided,globalsmustbeadictionary.Ifprovided,localscanbeanymappingobject.Theexpressionargumentisparsedandevaluateda
系統(tǒng) 2019-09-27 17:52:12 1962
目錄1.分支結(jié)構(gòu)1.1初步介紹1.2使用案例1.3練習(xí)2.循環(huán)結(jié)構(gòu)1.1初步介紹1.2使用案例1.分支結(jié)構(gòu)1.1初步介紹至今，我們所寫的Python代碼都是順序執(zhí)行，但是有時候在代碼中是需要進(jìn)行邏輯判斷的，比如用戶輸入用戶名和密碼，輸入正確則驗證通過，否則即驗證失敗。這個時候就會產(chǎn)生兩個分支，而且兩個分支只會有一條分支會走下去。當(dāng)然，還有很多類似的場景，我們將這種結(jié)果稱為"分支結(jié)構(gòu)"或“選擇結(jié)構(gòu)”。語法格式：ifxxx1:事情1elifxxx2:事情2el
系統(tǒng) 2019-09-27 17:51:46 1962
這個問題非常非常重要，搞了一晚上都沒解決好，但是真的很簡單很簡單，如果你也是用的numpyarray,如果你也想得到輸出矩陣的全部內(nèi)容，而不是省略形式，[[0.102849430.09599310.00076021...,-0.010357750.025619380.09741836][-0.01446581-0.0427694-0.08351202...,0.024896150.05786737-0.01584686][-0.05037935-0.074
系統(tǒng) 2019-09-27 17:51:32 1962
來源：ApacheCN『USFMSDS501計算數(shù)據(jù)科學(xué)中文講義』翻譯項目原文：ProgrammingPatternsinPython譯者：飛龍協(xié)議：CCBY-NC-SA4.0現(xiàn)在我們已經(jīng)了解了計算機(jī)如何組織數(shù)據(jù)，并進(jìn)行一些低級編程操作，現(xiàn)在讓我們看一些常見的高級編程模式。每一個這些操作都有一個使用條件和循環(huán)模式的實(shí)現(xiàn)，我們可以使用python語法很容易地表達(dá)。我們也可以使用現(xiàn)有的庫函數(shù)來實(shí)現(xiàn)相同的功能，我們也將探索它們。當(dāng)我們進(jìn)行時，你會發(fā)現(xiàn)程序設(shè)計和編
系統(tǒng) 2019-09-27 17:51:25 1962
獲取現(xiàn)在的時間用方法datetime.datetime.now().strftime('%F%T')，獲取未來或者過去的時間可以用如下方法：#-*-coding:utf-8-*-importdatetimeif__name__=='__main__':print(datetime.datetime.now().strftime('%F%T'))print((datetime.datetime.now()-datetime.timedelta(days=1)
系統(tǒng) 2019-09-27 17:51:23 1962
關(guān)于聲明并初始化二維列表想要快速創(chuàng)建一個二維列表如:5x3的二維列表[[0,0,0],[0,0,0],[0,0,0],[0,0,0],[0,0,0]]正確用法:#先創(chuàng)建一個一維列表tmp=[0,]*3result=[]foriinrange(5):#拷貝對象result.append(tmp.copy())result[0][1]=1print(result)#[[0,1,0],[0,0,0],[0,0,0],[0,0,0],[0,0,0]]誤用:#得到的
系統(tǒng) 2019-09-27 17:51:23 1962
最近在工作中遇到一個問題，就是有一個功能希望在各種服務(wù)器上實(shí)現(xiàn)，而服務(wù)器上的系統(tǒng)版本可能都不一樣，有的是CentOS6.x，有的是CentOS7.x。需要說明的一點(diǎn)是，CentOS6.x上的Python版本是2.6.x的，而CentOS7.x上的Python版本是2.7.x的，這意味著我要實(shí)現(xiàn)的功能要適配這兩種版本的系統(tǒng)。你可能會說，這有什么的，自己寫的時候，注意一下就好了。事情其實(shí)沒有那么容易，我要實(shí)現(xiàn)的功能是基于一個框架進(jìn)行定制，需要修改不少的框架代碼
系統(tǒng) 2019-09-27 17:50:30 1962
