欧美三区_成人在线免费观看视频_欧美极品少妇xxxxⅹ免费视频_a级毛片免费播放_鲁一鲁中文字幕久久_亚洲一级特黄

python基于mysql實現的簡單隊列以及跨進程鎖實例詳解

系統 1672 0

通常在我們進行多進程應用開發的過程中,不可避免的會遇到多個進程訪問同一個資源(臨界資源)的狀況,這時候必須通過加一個全局性的鎖,來實現資源的同步訪問(即:同一時間里只能有一個進程訪問資源)。

舉個例子如下:

假設我們用mysql來實現一個任務隊列,實現的過程如下:

1. 在Mysql中創建Job表,用于儲存隊列任務 ,如下:

            
create table jobs(
  id auto_increment not null primary key,
  message text not null,
  job_status not null default 0
);


          

message 用來存儲任務信息,job_status用來標識任務狀態,假設只有兩種狀態,0:在隊列中, 1:已出隊列?
?
2. 有一個生產者進程,往job表中放新的數據 ,進行排隊:

            
insert into jobs(message) values('msg1');

          

3.假設有多個消費者進程,從job表中取排隊信息 ,要做的操作如下:

            
select * from jobs where job_status=0 order by id asc limit 1;
update jobs set job_status=1 where id = ?; -- id為剛剛取得的記錄id

          

4. 如果沒有跨進程的鎖,兩個消費者進程有可能同時取到重復的消息,導致一個消息被消費多次。這種情況是我們不希望看到的,于是,我們需要實現一個跨進程的鎖。

=========================分割線=======================================

說到跨進程的鎖實現,我們主要有幾種實現方式:

(1)信號量
(2)文件鎖fcntl
(3)socket(端口號綁定)
(4)signal
這幾種方式各有利弊,總體來說前2種方式可能多一點,這里我就不詳細說了,大家可以去查閱資料。
?
查資料的時候發現mysql中有鎖的實現,適用于對于性能要求不是很高的應用場景,大并發的分布式訪問可能會有瓶頸.
?
對此用python實現了一個demo,如下:
?
文件名:glock.py

            
#!/usr/bin/env python2.7 
# 
# -*- coding:utf-8 -*- 
# 
#  Desc  : 
# 
import logging, time 
import MySQLdb 
class Glock: 
  def __init__(self, db): 
    self.db = db 
  def _execute(self, sql): 
    cursor = self.db.cursor() 
    try: 
      ret = None 
      cursor.execute(sql) 
      if cursor.rowcount != 1: 
        logging.error("Multiple rows returned in mysql lock function.") 
        ret = None 
      else: 
        ret = cursor.fetchone() 
      cursor.close() 
      return ret 
    except Exception, ex: 
      logging.error("Execute sql \"%s\" failed! Exception: %s", sql, str(ex)) 
      cursor.close() 
      return None 
  def lock(self, lockstr, timeout): 
    sql = "SELECT GET_LOCK('%s', %s)" % (lockstr, timeout) 
    ret = self._execute(sql) 
 
    if ret[0] == 0: 
      logging.debug("Another client has previously locked '%s'.", lockstr) 
      return False 
    elif ret[0] == 1: 
      logging.debug("The lock '%s' was obtained successfully.", lockstr) 
      return True 
    else: 
      logging.error("Error occurred!") 
      return None 
  def unlock(self, lockstr): 
    sql = "SELECT RELEASE_LOCK('%s')" % (lockstr) 
    ret = self._execute(sql) 
    if ret[0] == 0: 
      logging.debug("The lock '%s' the lock is not released(the lock was not established by this thread).", lockstr) 
      return False 
    elif ret[0] == 1: 
      logging.debug("The lock '%s' the lock was released.", lockstr) 
      return True 
    else: 
      logging.error("The lock '%s' did not exist.", lockstr) 
      return None 
#Init logging 
def init_logging(): 
  sh = logging.StreamHandler() 
  logger = logging.getLogger() 
  logger.setLevel(logging.DEBUG) 
  formatter = logging.Formatter('%(asctime)s -%(module)s:%(filename)s-L%(lineno)d-%(levelname)s: %(message)s') 
  sh.setFormatter(formatter) 
  logger.addHandler(sh) 
  logging.info("Current log level is : %s",logging.getLevelName(logger.getEffectiveLevel())) 
def main(): 
  init_logging() 
  db = MySQLdb.connect(host='localhost', user='root', passwd='') 
  lock_name = 'queue' 
 
  l = Glock(db) 
 
  ret = l.lock(lock_name, 10) 
  if ret != True: 
    logging.error("Can't get lock! exit!") 
    quit() 
  time.sleep(10) 
  logging.info("You can do some synchronization work across processes!") 
  ##TODO 
  ## you can do something in here ## 
  l.unlock(lock_name) 
if __name__ == "__main__": 
  main() 


          

在main函數里:

l.lock(lock_name, 10) 中,10是表示timeout的時間是10秒,如果10秒還獲取不了鎖,就返回,執行后面的操作。
?
在這個demo中,在標記TODO的地方,可以將消費者從job表中取消息的邏輯放在這里。即分割線以上的.

2.假設有多個消費者進程,從job表中取排隊信息,要做的操作如下:

            
select * from jobs where job_status=0 order by id asc limit 1;
update jobs set job_status=1 where id = ?; -- id為剛剛取得的記錄id

          

這樣,就能保證多個進程訪問臨界資源時同步進行了,保證數據的一致性。
?
測試的時候,啟動兩個glock.py, 結果如下:

            
[@tj-10-47 test]# ./glock.py  
2014-03-14 17:08:40,277 -glock:glock.py-L70-INFO: Current log level is : DEBUG 
2014-03-14 17:08:40,299 -glock:glock.py-L43-DEBUG: The lock 'queue' was obtained successfully. 
2014-03-14 17:08:50,299 -glock:glock.py-L81-INFO: You can do some synchronization work across processes! 
2014-03-14 17:08:50,299 -glock:glock.py-L56-DEBUG: The lock 'queue' the lock was released. 


          

可以看到第一個glock.py是 17:08:50解鎖的,下面的glock.py是在17:08:50獲取鎖的,可以證實這樣是完全可行的。

            
[@tj-10-47 test]# ./glock.py 
2014-03-14 17:08:46,873 -glock:glock.py-L70-INFO: Current log level is : DEBUG
2014-03-14 17:08:50,299 -glock:glock.py-L43-DEBUG: The lock 'queue' was obtained successfully.
2014-03-14 17:09:00,299 -glock:glock.py-L81-INFO: You can do some synchronization work across processes!
2014-03-14 17:09:00,300 -glock:glock.py-L56-DEBUG: The lock 'queue' the lock was released.
[@tj-10-47 test]#

          


更多文章、技術交流、商務合作、聯系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!!!

發表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 99精品久久 | 日韩精品亚洲专区在线电影不卡 | 麻豆porn| 国产亚洲精品久久久久久国 | 美日韩免费视频 | 成年人看的羞羞网站 | 综合网女女网 | 久久久久久久一区二区 | 欧美 中文字幕 | 欧美日韩亚洲精品国产色 | 久久精品国产精品亚洲综合 | 在线一区二区三区做爰视频网站 | 国产麻豆 | 国产精品国产亚洲精品不卡 | 久久国产亚洲 | 亚洲一区二区三区首页 | 国产伦精品一区二区 | 老汉色影院 | 亚洲高清在线播放 | concern超碰在线 | 日韩精品一区二区在线观看 | 国产一级免费不卡 | 成人亚洲综合 | 国产精品亚洲第一区二区三区 | 欧美成人午夜免费完成 | 激情小说激情图片激情电影 | 亚洲综合视频在线观看 | 日韩福利在线观看 | 国产精品久久久久久久久久免费看 | 欧美精品综合 | 夭天曰天天躁天天摸在线观看 | 天天噜日日噜夜夜噜 | 日本欧美久久久久免费播放网 | 色拍拍在精品视频69影院在线 | 91精品国产91久久久久 | 成人午夜视频一区二区国语 | 无码日韩精品一区二区免费 | 久久精品亚洲成在人线av网址 | 秋霞电影免费理论久久 | 一级毛片,一级毛片 | 亚洲人成在线观看一区二区 |