在之前學習的RDD和DataFrame數(shù)據(jù)集主要處理的是離線數(shù)據(jù)，隨著時代發(fā)展進步，我們會發(fā)現(xiàn)越來越多數(shù)據(jù)是在源源不斷發(fā)回到數(shù)據(jù)中心，同時需要立刻響應給用戶，這樣的情況我們就會用到實時處理，常用的場景有實時顯示某商場一小時人流密度、實時顯示當天火車站人口總數(shù)等等。接下來從實時數(shù)據(jù)源說起，實時數(shù)據(jù)源主要有：FileSourceSocketSourceFlumeSourceKafkaSourceFileSource指的是文件作為數(shù)據(jù)來源，常用的有本地文件fil
系統(tǒng) 2019-09-27 17:52:32 1963
#-*-coding:utf-8-*-importdatetime#給定日期向后N天的日期defdateadd_day(days):d1=datetime.datetime.now()d3=d1+datetime.timedelta(days)returnd3#昨天defgetYesterday():today=datetime.date.today()oneday=datetime.timedelta(days=1)yesterday=today-one
系統(tǒng) 2019-09-27 17:52:22 1963
deftrans_map(cint):ifcint<0:print"不合法"returnelifcint<10:returncintelifcint>=10:returnchr(cint-10+65)#將一個m進制的數(shù)轉換為一個n進制的數(shù)deftransfer(m,n,origin):num=anyToTen(m,origin)target=tenToAny(n,num)printtargetdefanyToTen(m,origin):#任意進制的數(shù)轉換為
系統(tǒng) 2019-09-27 17:52:21 1963
Python的元組和列表類似，不同之處在于元組中的元素不能修改(因此元組又稱為只讀列表)，且元組使用小括號而列表使用中括號，如下:tup1=('physics','chemistry',1997,2000)tup2=(1,2,3,4,5,6)特別注意:1、元組中只包含一個元素時，需要在元素后面添加逗號來消除歧義tup1=（50，）2、元組中的元素值使不允許修改的，但可以對元組進行連接組合tup1=(12,34.56)tup2=('abc','xyz')tu
系統(tǒng) 2019-09-27 17:52:18 1963
pika生產(chǎn)者程序大致步驟：1.建立連接connection，需要認證的調(diào)用認證參數(shù)2.創(chuàng)建通道channel當然channel可以池化，這樣可以重復使用3.聲明隊列指定隊列屬性，一旦指定屬性不能修改，例如是否持久化，名稱4.聲明交換機交換機類型，名稱等，也可以不用聲明，直接使用“”空字符串，默認交換機也可以5.將隊列與交換機綁定queue_bind6.basic_publish發(fā)送到交換機指定路由鍵pika消費者程序大致步驟：1.建立連接connecti
系統(tǒng) 2019-09-27 17:51:26 1963
獲取現(xiàn)在的時間用方法datetime.datetime.now().strftime('%F%T')，獲取未來或者過去的時間可以用如下方法：#-*-coding:utf-8-*-importdatetimeif__name__=='__main__':print(datetime.datetime.now().strftime('%F%T'))print((datetime.datetime.now()-datetime.timedelta(days=1)
系統(tǒng) 2019-09-27 17:51:23 1963
PIL提供了通用的圖像處理功能，以及大量的基本圖像操作，如圖像縮放、裁剪、旋轉、顏色轉換等。Matplotlib提供了強大的繪圖功能，其下的pylab/pyplot接口包含很多方便用戶創(chuàng)建圖像的函數(shù)。為了觀察和進一步處理圖像數(shù)據(jù)，首先需要加載圖像文件，并且為了查看圖像數(shù)據(jù)，我們需要將其繪制出來。fromPILimportImageimportmatplotlib.pyplotaspltimportnumpyasnp#加載圖像img=Image.open("
系統(tǒng) 2019-09-27 17:50:40 1963
open()方法Pythonopen()方法用于打開一個文件，并返回文件對象，在對文件進行處理過程都需要使用到這個函數(shù)，如果該文件無法被打開，會拋出OSError。注意：使用open()方法一定要保證關閉文件對象，即調(diào)用close()方法。open()函數(shù)常用形式是接收兩個參數(shù)：文件名(file)和模式(mode)。open(file,mode='r')完整的語法格式為：open(file,mode='r',buffering=-1,encoding=No
系統(tǒng) 2019-09-27 17:49:56 1963
目錄一、Admin的配置1.激活管理工具2.使用管理工具3.注冊超級用戶4.修改語言二、管理數(shù)據(jù)模型1.注冊medel類到admin2.自定制類一、Admin的配置Admin是Django的一個強大的功能，它能從數(shù)據(jù)庫中讀取數(shù)據(jù)，并呈現(xiàn)在頁面中，進行管理。默認情況下，它的功能已經(jīng)非常強大，如果你不需要復雜的功能，它已經(jīng)夠用，但是有時候，一些特殊的功能還需要定制，比如搜索功能，下面這一系列文章就逐步深入介紹如何定制適合自己的admin應用。1.激活管理工具通
系統(tǒng) 2019-09-27 17:49:37 1963
先序遍歷1、BinaryTreePreorderTraversal---leetcode144#coding:utf-8classSolution:#根左右defpreorderTraversal(self,root):ifnotroot:return[]return[root.val]+self.preorderTraversal(root.left)+self.preorderTraversal(root.right)#給定二叉樹的前序遍歷和中序遍歷，
系統(tǒng) 2019-09-27 17:49:30 1963
