本文實例講述了Python進程間通信Queue消息隊列用法。分享給大家供大家參考,具體如下:
進程間通信-Queue
Process之間有時需要通信,操作系統(tǒng)提供了很多機制來實現(xiàn)進程間的通信。
1. Queue的使用
可以使用multiprocessing模塊的Queue實現(xiàn)多進程之間的數(shù)據(jù)傳遞,Queue本身是一個消息列隊程序,首先用一個小實例來演示下Queue的工作原理:
代碼如下:
#coding=utf-8 from multiprocessing import Queue #初始化一個Queue對象,最多可接收三條put消息 q = Queue(3) q.put('消息1') q.put('消息2') print(q.full())#False q.put('消息3') print(q.full())#True #因為消息列隊已滿下面的try都會拋出異常,第一個try會等待2秒后再拋出異常,第二個Try會立刻拋出異常 try: q.put('消息4', True, 2) except: print('消息隊列已滿,現(xiàn)有消息數(shù)量:%s'%q.qsize()) try: q.put_nowait('消息4')#等同于q.put('消息4', False) except: print('消息隊列已滿,現(xiàn)有消息數(shù)量:%s'%q.qsize()) #推薦的方式,先判斷消息列隊是否已滿,再寫入 if not q.full(): q.put_nowait('消息4') #讀取消息時,先判斷消息列隊是否為空,再讀取 if not q.empty(): for i in range(q.qsize()): print(q.get_nowait())
運行結(jié)果:
False
True
消息隊列已滿,現(xiàn)有消息數(shù)量:3
消息隊列已滿,現(xiàn)有消息數(shù)量:3
消息1
消息2
消息3
說明
初始化Queue()對象時(例如:q=Queue()),若括號中沒有指定最大可接收的消息數(shù)量,或數(shù)量為負(fù)值,那么就代表可接受的消息數(shù)量沒有上限(直到內(nèi)存的盡頭);
Queue.qsize()
:返回當(dāng)前隊列包含的消息數(shù)量;
Queue.empty()
:如果隊列為空,返回True,反之False ;
Queue.full()
:如果隊列滿了,返回True,反之False;
Queue.get([block[, timeout]])
:獲取隊列中的一條消息,然后將其從列隊中移除,block默認(rèn)值為True;
1)如果block使用默認(rèn)值,且沒有設(shè)置timeout(單位秒),消息列隊如果為空,此時程序?qū)⒈蛔枞ㄍT谧x取狀態(tài)),直到從消息列隊讀到消息為止,如果設(shè)置了timeout,則會等待timeout秒,若還沒讀取到任何消息,則拋出”Queue.Empty”異常;
2)如果block值為False,消息列隊如果為空,則會立刻拋出”Queue.Empty”異常;
Queue.get_nowait()
:相當(dāng)Queue.get(False);
Queue.put(item,[block[, timeout]])
:將item消息寫入隊列,block默認(rèn)值為True;
1)如果block使用默認(rèn)值,且沒有設(shè)置timeout(單位秒),消息列隊如果已經(jīng)沒有空間可寫入,此時程序?qū)⒈蛔枞ㄍT趯?狀態(tài)),直到從消息列隊騰出空間為止。如果設(shè)置了timeout,則會等待timeout秒,若還沒空間,則拋出”Queue.Full”異常;
2)如果block值為False,消息列隊如果沒有空間可寫入則會立刻拋出”Queue.Full”異常;
Queue.put_nowait(item) :相當(dāng)Queue.put(item, False);
2. Queue實例
我們以Queue為例,在子進程中創(chuàng)建兩個子進程,一個往Queue中寫數(shù)據(jù),一個從Queue中讀數(shù)據(jù):
#coding=utf-8 from multiprocessing import Queue, Process import time, random, os #寫數(shù)據(jù)進程執(zhí)行的代碼 def write(q): l1 = ['A','B','C'] for value in l1: print('put %s to queue...'%value) q.put(value) time.sleep(random.random()) #讀數(shù)據(jù)執(zhí)行的代碼 def read(q): while True: if not q.empty(): value = q.get(True) print('get %s from queue...' % value) time.sleep(random.random()) else: break if __name__ == "__main__": #父進程創(chuàng)建Queue,并傳給各個子進程 q = Queue() qw = Process(target=write, args=(q,)) qr = Process(target=read, args=(q,)) #啟動子進程qw寫入 qw.start() qw.join() # 啟動子進程qr?qū)懭? qr.start() qr.join() # qr進程是死循環(huán),無法等待其結(jié)束,只能強行終止: print('所有數(shù)據(jù)都已經(jīng)寫入并讀取完畢')
運行結(jié)果:
put A to queue...
put B to queue...
put C to queue...
get A from queue...
get B from queue...
get C from queue...
所有數(shù)據(jù)都已經(jīng)寫入并讀取完畢
3. 進程池中的Queue
如果要使用Pool創(chuàng)建進程,就需要使用
multiprocessing.Manager()
中的
Queue()
,而不是
multiprocessing.Queue()
,否則會得到一條如下的錯誤信息:
RuntimeError: Queue objects should only be shared between processes
through inheritance.
下面的實例演示了進程池中的進程如何通信:
代碼如下:
#coding=utf-8 from multiprocessing import Manager, Pool import time, random, os def writer(q): print('writer啟動%s,父進程為%s'%(os.getpid(),os.getppid())) l1 = ['a','b','c','d','e'] for value in l1: q.put(value) def reader(q): print('reader啟動%s,父進程為%s'%(os.getpid(),os.getppid())) for i in range(q.qsize()): print('reader從Queue獲取到消息:%s'%q.get(True)) if __name__ == "__main__": print('父進程%s啟動...'%os.getpid()) q = Manager().Queue() #使用Manager中的Queue來初始化 po = Pool() # 使用阻塞模式創(chuàng)建進程,這樣就不需要在reader中使用死循環(huán)了,可以讓writer完全執(zhí)行完成后,再用reader去讀取 po.apply(writer, (q,)) po.apply(reader, (q,)) po.close() po.join() print('%s結(jié)束'%os.getpid())
運行結(jié)果:
父進程7415啟動...
writer啟動7421,父進程為7415
reader啟動7422, 父進程為7415
reader從Queue獲取到消息:a
reader從Queue獲取到消息:b
reader從Queue獲取到消息:c
reader從Queue獲取到消息:d
reader從Queue獲取到消息:e
7415結(jié)束
更多關(guān)于Python相關(guān)內(nèi)容感興趣的讀者可查看本站專題:《Python進程與線程操作技巧總結(jié)》、《Python數(shù)據(jù)結(jié)構(gòu)與算法教程》、《Python函數(shù)使用技巧總結(jié)》、《Python字符串操作技巧匯總》、《Python入門與進階經(jīng)典教程》、《Python+MySQL數(shù)據(jù)庫程序設(shè)計入門教程》及《Python常見數(shù)據(jù)庫操作技巧匯總》
希望本文所述對大家Python程序設(shè)計有所幫助。
更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主
微信掃碼或搜索:z360901061

微信掃一掃加我為好友
QQ號聯(lián)系: 360901061
您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。
【本文對您有幫助就好】元
