實現一個簡單的發號器
根據snowflake算法的原理實現一個簡單的發號器,產生不重復、自增的id。
1.snowflake算法的簡單描述
這里的snowflake算法是用二進制的,有64位。其中41位的時間戳表示:當前時間戳減去某個設定的起始時間,10位標識表示:不同的機器、數據庫的標識ID等等,序列號為每秒或每毫秒內自增的id。
我做的時候沒有用位運算去實現,而是做了一個十進制的,16位的(當時項目要求是16位的)。但是實現發號器的基本策略是一樣的,通過時間戳和標識來防止重復,通過序列號實現自增。當然啦,重點不是發號器多少位,而是根據項目的實際情況,利用snowflake算法的原理,實現一個適合自己項目的發號器。
2.Python實現
時間戳:9位,起始時間為2018-01-01 00:00:00 ,時間戳為當前時間減去起始時間。時間戳有9為,可用時間為 999999999/(60
60
24*365)≈31(年)。
標識ID:2位,我用的時候比較簡單,只是涉及一個數據庫的情況,所以用一張數據表對應一個標識ID,可用100張表。
序列號:5位,我時間戳用的是秒級的,但是5位是10萬個序列號,經過測試在一秒內是完全夠用的。
所以時間戳、標識ID、序列號的位數也沒規定說一定要多少,根據自己項目的實際來即可。
代碼如下:
import time class MySnow: def __init__(self,dataID): self.start = int(time.mktime(time.strptime('2018-01-01 00:00:00', "%Y-%m-%d %H:%M:%S"))) self.last = int(time.time()) self.countID = 0 self.dataID = dataID # 數據ID,這個自定義或是映射 def get_id(self): # 時間差部分 now = int(time.time()) temp = now-self.start if len(str(temp)) < 9: # 時間差不夠9位的在前面補0 length = len(str(temp)) s = "0" * (9-length) temp = s + str(temp) if now == self.last: self.countID += 1 # 同一時間差,序列號自增 else: self.countID = 0 # 不同時間差,序列號重新置為0 self.last = now # 標識ID部分 if len(str(self.dataID)) < 2: length = len(str(self.dataID)) s = "0" * (2-length) self.dataID = s + str(self.dataID) # 自增序列號部分 if self.countID == 99999: # 序列號自增5位滿了,睡眠一秒鐘 time.sleep(1) countIDdata = str(self.countID) if len(countIDdata) < 5: # 序列號不夠5位的在前面補0 length = len(countIDdata) s = "0"*(5-length) countIDdata = s + countIDdata id = str(temp) + str(self.dataID) + countIDdata return id
使用方法:
snow = MySnow(dataID="00") print(snow.get_id())
其中dataID即為標識ID,countID為自增序列號。dataID可以一個通過自定義的映射表獲得,這個視實際的項目情況而定。
3.關于并發
首先,直接用這個發號器是不能進行并發操作,會產生重復的id。如果真的要進行并發,那么就要權衡一下并發和位數的哪個更重要了!
拿實際例子來說吧,比如我并發的目的是為了節省時間,讓程序更快的跑完,這時候為了并發,我把dataID中拿出一位來,標識不同的子進程,這樣可以防止產生重復的id。但是實際上這用了位數去換取時間,如果是id位數比較少的情況,比如16位的,dataID比較少,我個人認為這樣是不值得的,有些奢侈。這時候便是位數比并發重要啦。
當時如果位數充裕,比如20位的,需要并發就并發啦。
還有一種實現并發的方法,就是給發號器加鎖,發號的時候加鎖,發完了解鎖。這個我沒有試過,有興趣的可以試一下哈哈。但是我有個疑惑啊,就是不斷加鎖和解鎖切換,帶來的時間和資源開銷會不會很大呢。
更多文章、技術交流、商務合作、聯系博主
微信掃碼或搜索:z360901061

微信掃一掃加我為好友
QQ號聯系: 360901061
您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。
【本文對您有幫助就好】元
