在之前學(xué)習(xí)的RDD和DataFrame數(shù)據(jù)集主要處理的是離線數(shù)據(jù)，隨著時(shí)代發(fā)展進(jìn)步，我們會(huì)發(fā)現(xiàn)越來(lái)越多數(shù)據(jù)是在源源不斷發(fā)回到數(shù)據(jù)中心，同時(shí)需要立刻響應(yīng)給用戶，這樣的情況我們就會(huì)用到實(shí)時(shí)處理，常用的場(chǎng)景有實(shí)時(shí)顯示某商場(chǎng)一小時(shí)人流密度、實(shí)時(shí)顯示當(dāng)天火車站人口總數(shù)等等。接下來(lái)從實(shí)時(shí)數(shù)據(jù)源說起，實(shí)時(shí)數(shù)據(jù)源主要有：FileSourceSocketSourceFlumeSourceKafkaSourceFileSource指的是文件作為數(shù)據(jù)來(lái)源，常用的有本地文件fil
系統(tǒng) 2019-09-27 17:52:32 1963
#-*-coding:utf-8-*-importdatetime#給定日期向后N天的日期defdateadd_day(days):d1=datetime.datetime.now()d3=d1+datetime.timedelta(days)returnd3#昨天defgetYesterday():today=datetime.date.today()oneday=datetime.timedelta(days=1)yesterday=today-one
系統(tǒng) 2019-09-27 17:52:22 1963
deftrans_map(cint):ifcint<0:print"不合法"returnelifcint<10:returncintelifcint>=10:returnchr(cint-10+65)#將一個(gè)m進(jìn)制的數(shù)轉(zhuǎn)換為一個(gè)n進(jìn)制的數(shù)deftransfer(m,n,origin):num=anyToTen(m,origin)target=tenToAny(n,num)printtargetdefanyToTen(m,origin):#任意進(jìn)制的數(shù)轉(zhuǎn)換為
系統(tǒng) 2019-09-27 17:52:21 1963
Python的元組和列表類似，不同之處在于元組中的元素不能修改(因此元組又稱為只讀列表)，且元組使用小括號(hào)而列表使用中括號(hào)，如下:tup1=('physics','chemistry',1997,2000)tup2=(1,2,3,4,5,6)特別注意:1、元組中只包含一個(gè)元素時(shí)，需要在元素后面添加逗號(hào)來(lái)消除歧義tup1=（50，）2、元組中的元素值使不允許修改的，但可以對(duì)元組進(jìn)行連接組合tup1=(12,34.56)tup2=('abc','xyz')tu
系統(tǒng) 2019-09-27 17:52:18 1963
pika生產(chǎn)者程序大致步驟：1.建立連接connection，需要認(rèn)證的調(diào)用認(rèn)證參數(shù)2.創(chuàng)建通道channel當(dāng)然channel可以池化，這樣可以重復(fù)使用3.聲明隊(duì)列指定隊(duì)列屬性，一旦指定屬性不能修改，例如是否持久化，名稱4.聲明交換機(jī)交換機(jī)類型，名稱等，也可以不用聲明，直接使用“”空字符串，默認(rèn)交換機(jī)也可以5.將隊(duì)列與交換機(jī)綁定queue_bind6.basic_publish發(fā)送到交換機(jī)指定路由鍵pika消費(fèi)者程序大致步驟：1.建立連接connecti
系統(tǒng) 2019-09-27 17:51:26 1963
獲取現(xiàn)在的時(shí)間用方法datetime.datetime.now().strftime('%F%T')，獲取未來(lái)或者過去的時(shí)間可以用如下方法：#-*-coding:utf-8-*-importdatetimeif__name__=='__main__':print(datetime.datetime.now().strftime('%F%T'))print((datetime.datetime.now()-datetime.timedelta(days=1)
系統(tǒng) 2019-09-27 17:51:23 1963
PIL提供了通用的圖像處理功能，以及大量的基本圖像操作，如圖像縮放、裁剪、旋轉(zhuǎn)、顏色轉(zhuǎn)換等。Matplotlib提供了強(qiáng)大的繪圖功能，其下的pylab/pyplot接口包含很多方便用戶創(chuàng)建圖像的函數(shù)。為了觀察和進(jìn)一步處理圖像數(shù)據(jù)，首先需要加載圖像文件，并且為了查看圖像數(shù)據(jù)，我們需要將其繪制出來(lái)。fromPILimportImageimportmatplotlib.pyplotaspltimportnumpyasnp#加載圖像img=Image.open("
系統(tǒng) 2019-09-27 17:50:40 1963
open()方法Pythonopen()方法用于打開一個(gè)文件，并返回文件對(duì)象，在對(duì)文件進(jìn)行處理過程都需要使用到這個(gè)函數(shù)，如果該文件無(wú)法被打開，會(huì)拋出OSError。注意：使用open()方法一定要保證關(guān)閉文件對(duì)象，即調(diào)用close()方法。open()函數(shù)常用形式是接收兩個(gè)參數(shù)：文件名(file)和模式(mode)。open(file,mode='r')完整的語(yǔ)法格式為：open(file,mode='r',buffering=-1,encoding=No
系統(tǒng) 2019-09-27 17:49:56 1963
目錄一、Admin的配置1.激活管理工具2.使用管理工具3.注冊(cè)超級(jí)用戶4.修改語(yǔ)言二、管理數(shù)據(jù)模型1.注冊(cè)medel類到admin2.自定制類一、Admin的配置Admin是Django的一個(gè)強(qiáng)大的功能，它能從數(shù)據(jù)庫(kù)中讀取數(shù)據(jù)，并呈現(xiàn)在頁(yè)面中，進(jìn)行管理。默認(rèn)情況下，它的功能已經(jīng)非常強(qiáng)大，如果你不需要復(fù)雜的功能，它已經(jīng)夠用，但是有時(shí)候，一些特殊的功能還需要定制，比如搜索功能，下面這一系列文章就逐步深入介紹如何定制適合自己的admin應(yīng)用。1.激活管理工具通
系統(tǒng) 2019-09-27 17:49:37 1963
先序遍歷1、BinaryTreePreorderTraversal---leetcode144#coding:utf-8classSolution:#根左右defpreorderTraversal(self,root):ifnotroot:return[]return[root.val]+self.preorderTraversal(root.left)+self.preorderTraversal(root.right)#給定二叉樹的前序遍歷和中序遍歷，
系統(tǒng) 2019-09-27 17:49:30 1963
