又一個(gè)多月沒(méi)冒泡了，其實(shí)最近學(xué)了些東西，但是沒(méi)有安排時(shí)間整理成博文，后續(xù)再奉上。最近還寫了一個(gè)發(fā)郵件的組件以及性能測(cè)試請(qǐng)看 《NET開發(fā)郵件發(fā)送功能的全面教程(含郵件組件源碼)》 ?，還弄了個(gè)MSSQL參數(shù)化語(yǔ)法生成器，會(huì)在9月整理出來(lái)，有興趣的園友可以關(guān)注下我的博客。
?
分享原由，最近公司用到，并且在找最合適的方案，希望大家多參與討論和提出新方案。我和我的小伙伴們也討論了這個(gè)主題，我受益匪淺啊……
?
博文示例：
?
今天分享的主題是：如何在高并發(fā)分布式系統(tǒng)中生成全局唯一Id。
但這篇博文實(shí)際上是“半分享半討論”的博文：
1)???????? 半分享是我將說(shuō)下我所了解到的關(guān)于今天主題所涉及的幾種方案。
2)???????? 半討論是我希望大家對(duì)各個(gè)方案都說(shuō)說(shuō)自己的見(jiàn)解，更加希望大家能提出更好的方案。（我還另外提問(wèn)在此： http://q.cnblogs.com/q/53552/ 上面已有幾位園友回復(fù)(感謝dudu站長(zhǎng)的參與)，若你們有見(jiàn)解和新方案就在本博文留言吧，方便我整理更新到博文中，謝謝！）
?
我了解的方案如下……………………………………………………………………
1、? 使用數(shù)據(jù)庫(kù)自增Id
優(yōu)勢(shì)：編碼簡(jiǎn)單，無(wú)需考慮記錄唯一標(biāo)識(shí)的問(wèn)題。
缺陷：
1)???????? 在大表做水平分表時(shí)，就不能使用自增Id，因?yàn)镮nsert的記錄插入到哪個(gè)分表依分表規(guī)則判定決定，若是自增Id，各個(gè)分表中Id就會(huì)重復(fù)，在做查詢、刪除時(shí)就會(huì)有異常。
2)???????? 在對(duì)表進(jìn)行高并發(fā)單記錄插入時(shí)需要加入事物機(jī)制，否則會(huì)出現(xiàn)Id重復(fù)的問(wèn)題。
3)???????? 在業(yè)務(wù)上操作父、子表（即關(guān)聯(lián)表）插入時(shí)，需要在插入數(shù)據(jù)庫(kù) 之前 獲取max(id)用于標(biāo)識(shí)父表和子表關(guān)系，若存在并發(fā)獲取max(id)的情況，max(id)會(huì)同時(shí)被別的線程獲取到。
4)???????? 等等。
結(jié)論：適合小應(yīng)用，無(wú)需分表，沒(méi)有高并發(fā)性能要求。
2、? 單獨(dú)開一個(gè)數(shù)據(jù)庫(kù)，獲取全局唯一的自增序列號(hào)或各表的MaxId
1)???????? 使用自增序列號(hào)表
專門一個(gè)數(shù)據(jù)庫(kù)，生成序列號(hào)。開啟事物，每次操作插入時(shí)，先將數(shù)據(jù)插入到序列表并返回自增序列號(hào)用于做為唯一Id進(jìn)行業(yè)務(wù)數(shù)據(jù)插入。
注意：需要定期清理序列表的數(shù)據(jù)以保證獲取序列號(hào)的效率；插入序列表記錄時(shí)要開啟事物。
使用此方案的問(wèn)題是：每次的查詢序列號(hào)是一個(gè)性能損耗；如果這個(gè)序列號(hào)列暴了，那就杯具了，你不知道哪個(gè)表使用了哪個(gè)序列，所以就必須換另一種唯一Id方式如GUID。
2)???????? 使用MaxId表存儲(chǔ)各表的MaxId值
專門一個(gè)數(shù)據(jù)庫(kù)，記錄各個(gè)表的MaxId值，建一個(gè)存儲(chǔ)過(guò)程來(lái)取Id，邏輯大致為：開啟事物，對(duì)于在表中不存在記錄，直接返回一個(gè)默認(rèn)值為1的鍵值，同時(shí)插入該條記錄到table_key表中。而對(duì)于已存在的記錄，key值直接在原來(lái)的key基礎(chǔ)上加1更新到MaxId表中并返回key。
使用此方案的問(wèn)題是：每次的查詢MaxId是一個(gè)性能損耗；不過(guò)不會(huì)像自增序列表那么容易列暴掉，因?yàn)槭菙[表進(jìn)行劃分的。
詳細(xì)可參考： 《使用MaxId表存儲(chǔ)各表的MaxId值，以獲取全局唯一Id》
?????????????????? 我截取此文中的sql語(yǔ)法如下：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
|
第一步：創(chuàng)建表
create
table
table_key
(
???????
table_name??
varchar
(50)
not
null
primary
key
,
???????
key_value???
int
????????
not
null
)
?
?
第二步：創(chuàng)建存儲(chǔ)過(guò)程來(lái)取自增ID
create
procedure
up_get_table_key
(
???
@table_name????
varchar
(50),
???
@key_value?????
int
output
)
as
begin
?????
begin
tran
?????????
declare
@
key
?
int
?????????
?
?????????
--initialize the key with 1
?????????
set
@
key
=1
?????????
--whether the specified table is exist
?????????
if
not
exists(
select
table_name
from
table_key
where
table_name=@table_name)
????????????
begin
??????????????
insert
into
table_key
values
(@table_name,@
key
)???????
--default key vlaue:1
????????????
end
?????????
-- step increase
?????????
else
???
????????????
begin
????????????????
select
@
key
=key_value
from
table_key
with
(nolock)
where
table_name=@table_name
????????????????
set
@
key
=@
key
+1
????????????????
--update the key value by table name
????????????????
update
table_key
set
key_value=@
key
where
table_name=@table_name
????????????
end
????????
--set ouput value
????
set
@key_value=@
key
?
????
--commit tran
????
commit
tran
????????
if @@error>0
??????
rollback
tran
end
|
感謝園友的好建議：
- （ @輝_輝 ）建議給table_key中為每個(gè)表初始化一條key為1的記錄，這樣就不用每次if來(lái)判斷了。
- （ @樂(lè)活的CodeMonkey ）建議給存儲(chǔ)過(guò)程中 數(shù)據(jù)庫(kù)事物隔離級(jí)別 提高一下，因?yàn)槌霈F(xiàn)在CS代碼層上使用如下事物代碼會(huì)導(dǎo)致并發(fā)重復(fù)問(wèn)題.
|
1
2
3
4
5
6
7
8
|
TransactionOptions option =
new
TransactionOptions();
option.IsolationLevel = IsolationLevel.ReadUncommitted;
option.Timeout =
new
TimeSpan(0, 10, 0);
?
?
using
(TransactionScope transaction =
new
TransactionScope(TransactionScopeOption.RequiresNew, option))
{
????????
//調(diào)用存儲(chǔ)過(guò)程
}
|
在咨詢過(guò)DBA后，這個(gè)存儲(chǔ)過(guò)程提高數(shù)據(jù)庫(kù)隔離級(jí)別會(huì)加大數(shù)據(jù)庫(kù)訪問(wèn)壓力，導(dǎo)致響應(yīng)超時(shí)問(wèn)題。所以這個(gè)建議我們只能在代碼編寫宣導(dǎo)上做。
- （ @土豆烤肉 ）存儲(chǔ)過(guò)程中不使用事物，一旦使用到事物性能就急劇下滑。直接使用UPDATE獲取到的更新鎖，即SQL SERVER會(huì)保證UPDATE的順序執(zhí)行。（已在用戶過(guò)千萬(wàn)的并發(fā)系統(tǒng)中使用）
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
|
create
procedure
[dbo].[up_get_table_key]
(
???
@table_name????
varchar
(50),
???
@key_value?????
int
output
)
as
begin
?
????
SET
NOCOUNT
ON
;
????
DECLARE
@maxId
INT
????
UPDATE
table_key
????
SET
@maxId = key_value,key_value = key_value + 1
????
WHERE
table_name=@table_name
????
SELECT
@maxId
?
end
|
結(jié)論：適用中型應(yīng)用，此方案解決了分表，關(guān)聯(lián)表插入記錄的問(wèn)題。但是無(wú)法滿足高并發(fā)性能要求。同時(shí)也存在單點(diǎn)問(wèn)題，如果這個(gè)數(shù)據(jù)庫(kù)cash 掉的話……
我們目前正頭痛這個(gè)問(wèn)題，因?yàn)槲覀兊母卟l(fā)常常出現(xiàn)數(shù)據(jù)庫(kù)訪問(wèn)超時(shí)，瓶頸就在這個(gè)MaxId表。我們也有考慮使用分布式緩存（eg：memcached）緩存第一次訪問(wèn)MaxId表數(shù)據(jù)，以提高再次訪問(wèn)速度，并定時(shí)用緩存數(shù)據(jù)更新一次MaxId表，但我們擔(dān)心的問(wèn)題是：
a)???????? 倘若緩存失效或暴掉了，那緩存的MaxId沒(méi)有更新到數(shù)據(jù)庫(kù)導(dǎo)致數(shù)據(jù)丟失，必須停掉站點(diǎn)來(lái)執(zhí)行Select max(id)各個(gè)表來(lái)同步MaxId表。
b)???????? 分布式緩存不是一保存下去，其他服務(wù)器上就立馬可以獲取到的，即數(shù)據(jù)存在不確定性。（其實(shí)也是緩存的一個(gè)誤用，緩存應(yīng)該用來(lái)存的是頻繁訪問(wèn)并且很少改動(dòng)的內(nèi)容）
???????? 改進(jìn)方案：
整體思想：建立兩臺(tái)以上的數(shù)據(jù)庫(kù)ID生成服務(wù)器，每個(gè)服務(wù)器都有一張記錄各表當(dāng)前ID的MaxId表，但是MaxId表中Id的增長(zhǎng)步長(zhǎng)是服務(wù)器的數(shù)量，起始值依次錯(cuò)開，這樣相當(dāng)于把ID的生成散列到每個(gè)服務(wù)器節(jié)點(diǎn)上。例如：如果我們?cè)O(shè)置兩臺(tái)數(shù)據(jù)庫(kù)ID生成服務(wù)器，那么就讓一臺(tái)的MaxId表的Id起始值為1（或當(dāng)前最大Id+1），每次增長(zhǎng)步長(zhǎng)為2，另一臺(tái)的MaxId表的ID起始值為2（或當(dāng)前最大Id+2），每次步長(zhǎng)也為2。這樣就將產(chǎn)生ID的壓力均勻分散到兩臺(tái)服務(wù)器上，同時(shí)配合應(yīng)用程序控制，當(dāng)一個(gè)服務(wù)器失效后，系統(tǒng)能自動(dòng)切換到另一個(gè)服務(wù)器上獲取ID，從而解決的單點(diǎn)問(wèn)題保證了系統(tǒng)的容錯(cuò)。（Flickr思想）
但是要注意：1、多服務(wù)器就必須面臨負(fù)載均衡的問(wèn)題；2、倘若添加新節(jié)點(diǎn)，需要對(duì)原有數(shù)據(jù)重新根據(jù)步長(zhǎng)計(jì)算遷移數(shù)據(jù)。
結(jié)論：適合大型應(yīng)用，生成 Id 較短，友好性比較好。（強(qiáng)烈推薦）
3、? Sequence特性
這個(gè)特性在SQL Server 2012、Oracle中可用。這個(gè)特性是數(shù)據(jù)庫(kù)級(jí)別的，允許在多個(gè)表之間共享序列號(hào)。它可以解決分表在同一個(gè)數(shù)據(jù)庫(kù)的情況，但倘若分表放在不同數(shù)據(jù)庫(kù)，那將共享不到此序列號(hào)。（eg：Sequence使用場(chǎng)景：你需要在多個(gè)表之間公用一個(gè)流水號(hào)。以往的做法是額外建立一個(gè)表，然后存儲(chǔ)流水號(hào)）
相關(guān)Sequence特性資料：
SQL Server2012中的SequenceNumber嘗試
SQL Server 2012 開發(fā)新功能——序列對(duì)象（Sequence）
Difference between Identity and Sequence in SQL Server 2012
結(jié)論：適用中型應(yīng)用，此方案不能完全解決分表問(wèn)題， 而且無(wú)法滿足高并發(fā)性能要求。同時(shí)也存在單點(diǎn)問(wèn)題，如果這個(gè)數(shù)據(jù)庫(kù)cash掉的話……
4、? 通過(guò)數(shù)據(jù)庫(kù)集群編號(hào)+集群內(nèi)的自增類型兩個(gè)字段共同組成唯一主鍵
優(yōu)點(diǎn)：實(shí)現(xiàn)簡(jiǎn)單，維護(hù)也比較簡(jiǎn)單。
缺點(diǎn)：關(guān)聯(lián)表操作相對(duì)比較復(fù)雜，需要兩個(gè)字段。并且業(yè)務(wù)邏輯必須是一開始就設(shè)計(jì)為處理復(fù)合主鍵的邏輯，倘若是到了后期，由單主鍵轉(zhuǎn)為復(fù)合主鍵那改動(dòng)成本就太大了。
結(jié)論：適合大型應(yīng)用，但需要業(yè)務(wù)邏輯配合處理復(fù)合主鍵。
5、? 通過(guò)設(shè)置每個(gè)集群中自增 ID 起始點(diǎn)（auto_increment_offset），將各個(gè)集群的ID進(jìn)行絕對(duì)的分段來(lái)實(shí)現(xiàn)全局唯一。當(dāng)遇到某個(gè)集群數(shù)據(jù)增長(zhǎng)過(guò)快后，通過(guò)命令調(diào)整下一個(gè) ID 起始位置跳過(guò)可能存在的沖突。
優(yōu)點(diǎn)：實(shí)現(xiàn)簡(jiǎn)單，且比較容易根據(jù) ID 大小直接判斷出數(shù)據(jù)處在哪個(gè)集群，對(duì)應(yīng)用透明。缺點(diǎn)：維護(hù)相對(duì)較復(fù)雜，需要高度關(guān)注各個(gè)集群 ID 增長(zhǎng)狀況。
結(jié)論：適合大型應(yīng)用，但需要高度關(guān)注各個(gè)集群 ID 增長(zhǎng)狀況。
6、? GUID（Globally Unique Identifier，全局唯一標(biāo)識(shí)符）
GUID通常表示成32個(gè)16進(jìn)制數(shù)字（0－9，A－F）組成的字符串，如：{21EC2020-3AEA-1069-A2DD-08002B30309D}，它實(shí)質(zhì)上是一個(gè)128位長(zhǎng)的二進(jìn)制整數(shù)。
GUID制定的算法中使用到用戶的網(wǎng)卡MAC地址，以保證在計(jì)算機(jī)集群中生成唯一GUID；在相同計(jì)算機(jī)上隨機(jī)生成兩個(gè)相同GUID的可能性是非常小的，但并不為0。所以，用于生成GUID的算法通常都加入了非隨機(jī)的參數(shù)（如時(shí)間），以保證這種重復(fù)的情況不會(huì)發(fā)生。
優(yōu)點(diǎn)：GUID是最簡(jiǎn)單的方案，跨平臺(tái)，跨語(yǔ)言，跨業(yè)務(wù)邏輯，全局唯一的Id，數(shù)據(jù)間同步、遷移都能簡(jiǎn)單實(shí)現(xiàn)。
缺點(diǎn)：
1)???????? 存儲(chǔ)占了32位，且無(wú)可讀性，返回GUID給客戶顯得很不專業(yè)；
2)???????? 占用了珍貴的聚集索引，一般我們不會(huì)根據(jù)GUID去查單據(jù)，并且插入時(shí)因?yàn)镚UID是無(wú)需的，在聚集索引的排序規(guī)則下可能移動(dòng)大量的記錄。
有兩位園友主推GUID，無(wú)須順序GUID方案原因如下：
@徐少俠 ?????????? GUID無(wú)序在并發(fā)下效率高，并且一個(gè)數(shù)據(jù)頁(yè)內(nèi)添加新行，是在B樹內(nèi)增加，本質(zhì)沒(méi)有什么數(shù)據(jù)被移動(dòng)， 唯一可能的，是頁(yè)填充因子滿了 ，需要拆頁(yè)。而GUID方案導(dǎo)致的拆頁(yè)比 順序 ID要低太多了（數(shù)據(jù)庫(kù)不是很懂，暫時(shí)無(wú)法斷定，大家自己認(rèn)識(shí)）
@無(wú)色 ??????????????? 我們要明白id是什么，是身份標(biāo)識(shí)，標(biāo)識(shí)身份是id最大的業(yè)務(wù)邏輯，不要引入什么時(shí)間，什么用戶業(yè)務(wù)邏輯， 那是另外一個(gè)字段干的事 ，使用base64(guid,uuid)，是通盤考慮，完全可以更好的兼容nosql,key-value存儲(chǔ)。
（推薦），但是倘若你系統(tǒng)一開始沒(méi)有規(guī)劃一個(gè)業(yè)務(wù) Id ，那么將導(dǎo)致大量的改動(dòng)，所以這個(gè)方案的最佳狀態(tài)是一開始就設(shè)計(jì)業(yè)務(wù) Id ，當(dāng)然業(yè)務(wù) Id 的唯一性也是我們要考慮的。
結(jié)論：適合大型應(yīng)用；生成的Id 不夠友好；占據(jù)了32 位；索引效率較低。
改進(jìn)：
1)???????? （ @dudu 提點(diǎn)）在SQL Server 2005中新增了NEWSEQUENTIALID函數(shù)。
詳細(xì)請(qǐng)看： 《理解newid()和newsequentialid()》
在指定計(jì)算機(jī)上創(chuàng)建大于先前通過(guò)該函數(shù)生成的任何 GUID 的 GUID。 newsequentialid 產(chǎn)生的新的值是有規(guī)律的，則索引B+樹的變化是有規(guī)律的，就不會(huì)導(dǎo)致索引列插入時(shí)移動(dòng)大量記錄的問(wèn)題。
但一旦服務(wù)器重新啟動(dòng)，其再次生成的GUID可能反而變小（但仍然保持唯一）。這在很大程度上提高了索引的性能，但并不能保證所生成的GUID一直增大。 SQL 的這個(gè)函數(shù)產(chǎn)生的GUID 很簡(jiǎn)單就可以預(yù)測(cè)，因此不適合用于安全目的。
a)???????? 只能做為數(shù)據(jù)庫(kù)列的DEFAULT VALUE，不能執(zhí)行類似SELECT NEWSEQUENTIALID()的語(yǔ)句.
b)???????? 如何獲得生成的GUID.
如果生成的GUID所在字段做為外鍵要被其他表使用，我們就需要得到這個(gè)生成的值。通常，PK是一個(gè)IDENTITY字段，我們可以在INSERT之后執(zhí)行 SELECT SCOPE_IDENTITY()來(lái)獲得新生成的ID，但是由于NEWSEQUENTIALID()不是一個(gè)INDETITY類型，這個(gè)辦法是做不到了，而他本身又只能在默認(rèn)值中使用，不可以事先SELECT好再插入，那么我們?nèi)绾蔚玫侥兀坑幸韵聝煞N方法：
|
1
2
3
4
5
6
7
8
9
10
11
12
|
--1. 定義臨時(shí)表變量
DECLARE
@outputTable
TABLE
(ID uniqueidentifier)
INSERT
INTO
TABLE1(col1, col2)
OUTPUT
INSERTED.ID
INTO
@outputTable
VALUES
(
'value1'
,
'value2'
)
SELECT
ID
FROM
@outputTable
?
?
--2. 標(biāo)記ID字段為ROWGUID（一個(gè)表只能有一個(gè)ROWGUID）
INSERT
INTO
TABLE1(col1, col2)
VALUES
(
'value1'
,
'value2'
)
--在這里，ROWGUIDCOL其實(shí)相當(dāng)于一個(gè)別名
SELECT
ROWGUIDCOL
FROM
TABLE1
|
結(jié)論：適合大型應(yīng)用，解決了GUID 無(wú)序特性導(dǎo)致索引列插入移動(dòng)大量記錄的問(wèn)題。但是在關(guān)聯(lián)表插入時(shí)需要返回?cái)?shù)據(jù)庫(kù)中生成的GUID ；生成的Id 不夠友好；占據(jù)了32 位。
2)???????? “COMB”（combined guid/timestamp，意思是：組合GUID/時(shí)間截）
（感謝： @ ethan-luo ?， @lcs-帥 ）
COMB數(shù)據(jù)類型的基本設(shè)計(jì)思路是這樣的：既然GUID數(shù)據(jù)因毫無(wú)規(guī)律可言造成索引效率低下，影響了系統(tǒng)的性能，那么能不能通過(guò)組合的方式，保留GUID的10個(gè)字節(jié)，用另6個(gè)字節(jié)表示GUID生成的時(shí)間（DateTime），這樣我們將時(shí)間信息與GUID組合起來(lái)，在保留GUID的唯一性的同時(shí)增加了有序性，以此來(lái)提高索引效率。
在NHibernate中，COMB型主鍵的生成代碼如下所示：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
|
/// <summary> /// Generate a new <see cref="Guid"/> using the comb algorithm.
/// </summary>
private
Guid GenerateComb()
{
????
byte
[] guidArray = Guid.NewGuid().ToByteArray();
?
????
DateTime baseDate =
new
DateTime(1900, 1, 1);
????
DateTime now = DateTime.Now;
?
????
// Get the days and milliseconds which will be used to build???
????
//the byte string???
????
TimeSpan days =
new
TimeSpan(now.Ticks - baseDate.Ticks);
????
TimeSpan msecs = now.TimeOfDay;
?
????
// Convert to a byte array???????
????
// Note that SQL Server is accurate to 1/300th of a???
????
// millisecond so we divide by 3.333333???
????
byte
[] daysArray = BitConverter.GetBytes(days.Days);
????
byte
[] msecsArray = BitConverter.GetBytes((
long
)
??????
(msecs.TotalMilliseconds / 3.333333));
?
????
// Reverse the bytes to match SQL Servers ordering???
????
Array.Reverse(daysArray);
????
Array.Reverse(msecsArray);
?
????
// Copy the bytes into the guid???
????
Array.Copy(daysArray, daysArray.Length - 2, guidArray,
??????
guidArray.Length - 6, 2);
????
Array.Copy(msecsArray, msecsArray.Length - 4, guidArray,
??????
guidArray.Length - 4, 4);
?
????
return
new
Guid(guidArray);
}
|
結(jié)論：適合大型應(yīng)用。即保留 GUID 的唯一性的同時(shí)增加了 GUID 有序性，提高了索引效率；解決了關(guān)聯(lián)表業(yè)務(wù)問(wèn)題；生成的 Id 不夠友好；占據(jù)了 32 位。（強(qiáng)烈推薦）
3)???????? 長(zhǎng)度問(wèn)題，使用Base64或Ascii85編碼解決。（要注意的是上述有序性方案在進(jìn)行編碼后也會(huì)變得無(wú)序）
如：
GUID：{3F2504E0-4F89-11D3-9A0C-0305E82C3301}
當(dāng)需要使用更少的字符表示GUID時(shí)，可能會(huì)使用Base64或Ascii85編碼。Base64編碼的GUID有22－24個(gè)字符，如：
7QDBkvCA1+B9K/U0vrQx1A
7QDBkvCA1+B9K/U0vrQx1A==
Ascii85編碼后是20個(gè)字符，如：
5:$Hj:Pf\4RLB9%kU\Lj
?????????????????? 代碼如：
???????? Guid guid = Guid.NewGuid();
???????? byte[] buffer = guid.ToByteArray();
???????? var shortGuid = Convert.ToBase64String(buffer);
?????????????????? 結(jié)論：適合大型應(yīng)用，縮短GUID 的長(zhǎng)度。生成的Id 不夠友好；索引效率較低。
7、? GUID TO Int64
對(duì)于GUID的可讀性，有園友給出如下方案：（感謝： @黑色的羽翼 ）
|
1
2
3
4
5
6
7
8
|
/// <summary>
/// 根據(jù)GUID獲取19位的唯一數(shù)字序列
/// </summary>
public
static
long
GuidToLongID()
{
????
byte
[] buffer = Guid.NewGuid().ToByteArray();
????
return
BitConverter.ToInt64(buffer, 0);
}
|
即將GUID轉(zhuǎn)為了19位數(shù)字，數(shù)字反饋給客戶可以一定程度上緩解友好性問(wèn)題。EG:
GUID: cfdab168-211d-41e6-8634-ef5ba6502a22??? （不友好）
Int64: 5717212979449746068????????????????????????????????????? （友好性還行）
不過(guò)我的小伙伴說(shuō)ToInt64后就不唯一了。因此我專門寫了個(gè)并發(fā)測(cè)試程序，后文將給出測(cè)試結(jié)果截圖及代碼簡(jiǎn)單說(shuō)明。
（唯一性、業(yè)務(wù)適合性是可以權(quán)衡的，這個(gè)唯一性肯定比不過(guò)GUID的，一般程序上都會(huì)安排錯(cuò)誤處理機(jī)制，比如異常后執(zhí)行一次重插的方案……）
結(jié)論：適合大型應(yīng)用，生成相對(duì)友好的Id （純數(shù)字）-- ----因簡(jiǎn)單和業(yè)務(wù)友好性而推薦。
8、? 自己寫編碼規(guī)則
優(yōu)點(diǎn)：全局唯一Id，符合業(yè)務(wù)后續(xù)長(zhǎng)遠(yuǎn)的發(fā)展（可能具體業(yè)務(wù)需要自己的編碼規(guī)則等等）。
缺陷：根據(jù)具體編碼規(guī)則實(shí)現(xiàn)而不同；還要考慮倘若主鍵在業(yè)務(wù)上允許改變的，會(huì)帶來(lái)外鍵同步的麻煩。
我這邊寫兩個(gè)編碼規(guī)則方案： （可能不唯一，只是個(gè)人方案，也請(qǐng)大家提出自己的編碼規(guī)則）
1)???????? 12位年月日時(shí)分秒+3位服務(wù)器編碼+3位表編碼+5位隨機(jī)碼? （這樣就完全單機(jī)完成生成全局唯一編碼）---共23位
缺陷：因?yàn)楦綆щS機(jī)碼，所以編碼缺少一定的順序感。（生成高唯一性隨機(jī)碼的方案稍后給給出程序）
2)???????? 12位年月日時(shí)分秒+3位服務(wù)器編碼+3位表編碼+5位流水碼? （這樣流水碼就需要結(jié)合數(shù)據(jù)庫(kù)和緩存）---共23位
缺陷：因?yàn)槭褂玫搅魉a，流水碼的生成必然會(huì)遇到和MaxId、序列表、Sequence方案中類似的問(wèn)題
（為什么沒(méi)有毫秒？毫秒也不具備業(yè)務(wù)可讀性，我改用5位隨機(jī)碼、流水碼代替，推測(cè)1秒內(nèi)應(yīng)該不會(huì)下99999[五位]條語(yǔ)法）
?
結(jié)論：適合大型應(yīng)用，從業(yè)務(wù)上來(lái)說(shuō)，有一個(gè)規(guī)則的編碼能體現(xiàn)產(chǎn)品的專業(yè)成度。（強(qiáng)烈推薦）
?
?
GUID生成Int64值后是否還具有唯一性測(cè)試
測(cè)試環(huán)境
?
主要測(cè)試思路：
- 根據(jù)內(nèi)核數(shù)使用多線程并發(fā)生成Guid后再轉(zhuǎn)為Int64位值，放入集合A、B、…N，多少個(gè)線程就有多少個(gè)集合。
- 再使用Dictionary字典高效查key的特性，將步驟1中生成的多個(gè)集合全部加到Dictionary中，看是否有重復(fù)值。
示例注解：測(cè)了 Dictionary<long,bool> 最大容量就在5999470左右，所以每次并發(fā)生成的唯一值總數(shù)控制在此范圍內(nèi)，讓測(cè)試達(dá)到最有效話。
主要代碼：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
|
for
(
int
i = 0; i <= Environment.ProcessorCount - 1; i++)
{
????
ThreadPool.QueueUserWorkItem(
????????
(list) =>
????????
{
????????????
List<
long
> tempList = list
as
List<
long
>;
????????????
for
(
int
j = 1; j < listLength; j++)
????????????
{
????????????????
byte
[] buffer = Guid.NewGuid().ToByteArray();
????????????????
tempList.Add(BitConverter.ToInt64(buffer, 0));
????????????
}
????????????
barrier.SignalAndWait();
????????
}, totalList[i]);
}
|
測(cè)試數(shù)據(jù)截圖：???????????????????????????????????????????????????????????????????????????
?
?
數(shù)據(jù)一（循環(huán)1000次，測(cè)試數(shù)：1000*5999470）
?
數(shù)據(jù)二（循環(huán)5000次,測(cè)試數(shù)：5000*5999470）--跑了一個(gè)晚上……
?
?
感謝 @Justany_WhiteSnow 的專業(yè)回答：( 大家分析下，我數(shù)學(xué)比較差，稍后再說(shuō)自己的理解)
GUID桶數(shù)量：(2 ^ 4) ^ 32 = 2 ^ 128
Int64桶數(shù)量： 2 ^ 64
倘若每個(gè)桶的機(jī)會(huì)是均等的，則每個(gè)桶的GUID數(shù)量為：
(2 ^ 128) / (2 ^ 64) = 2 ^ 64 = 18446744073709551616
也就是說(shuō)，其實(shí)重復(fù)的機(jī)會(huì)是有的，只是概率問(wèn)題。
樓主測(cè)試數(shù)是29997350000，發(fā)生重復(fù)的概率是：
1 - ((1 - (1 / (2 ^ 64))) ^ 29997350000) ≈ 1 - ((1 - 1 / （2 ^ 64)) ^ (2 ^ 32)) < 1 - 1 + 1 / (2 ^ 32) = 1 / (2 ^ 32) ≈ 2.3283064e-10
（唯一性、業(yè)務(wù)適合性是可以權(quán)衡的，這個(gè)唯一性肯定比不過(guò)GUID的，一般程序上都會(huì)安排錯(cuò)誤處理機(jī)制，比如異常后執(zhí)行一次重插的方案……）
（唯一性、業(yè)務(wù)適合性是可以權(quán)衡的，這個(gè)唯一性肯定比不過(guò)GUID的，一般程序上都會(huì)安排錯(cuò)誤處理機(jī)制，比如異常后執(zhí)行一次重插的方案……）
結(jié)論：GUID 轉(zhuǎn)為Int64 值后，也具有高唯一性，可以使用與項(xiàng)目中。
?
Random生成高唯一性隨機(jī)碼
我使用了五種Random生成方案，要Random生成唯一主要因素就是種子參數(shù)要唯一。（這是比較久以前寫的測(cè)試案例了，一直找不到合適的博文放，今天終于找到合適的地方了）
不過(guò)該測(cè)試是在單線程下的，多線程應(yīng)使用不同的Random實(shí)例，所以對(duì)結(jié)果影響不會(huì)太大。
- 使用Environment.TickCount做為Random參數(shù)（即Random的默認(rèn)參數(shù)），重復(fù)性最大。
- 使用DateTime.Now.Ticks做為Random參數(shù)，存在重復(fù)。
- 使用unchecked((int)DateTime.Now.Ticks)做為Random參數(shù)，存在重復(fù)。
- 使用Guid.NewGuid().GetHashCode()做為random參數(shù)，測(cè)試不存在重復(fù)（或存在性極小）。
- 使用RNGCryptoServiceProvider做為random參數(shù)，測(cè)試不存在重復(fù)（或存在性極小）。
即：
??????? static int GetRandomSeed()
??????? {
??????????? byte[] bytes = new byte[4];
??????????? System.Security.Cryptography.RNGCryptoServiceProvider rng
= new System.Security.Cryptography.RNGCryptoServiceProvider();
??????????? rng.GetBytes(bytes);
??????????? return BitConverter.ToInt32(bytes, 0);
??????? }
測(cè)試結(jié)果：
?
結(jié)論：隨機(jī)碼使用RNGCryptoServiceProvider 或Guid.NewGuid().GetHashCode() 生成的唯一性較高。
?
?
一些精彩評(píng)論（部分更新到原博文對(duì)應(yīng)的地方）
一、
數(shù)據(jù)庫(kù)文件體積只是一個(gè)參考值，可水平擴(kuò)展系統(tǒng)性能（如nosql，緩存系統(tǒng)）并不和文件體積有高指數(shù)的線性相關(guān)。
如taobao/qq的系統(tǒng)比拼byte系統(tǒng)慢，關(guān)鍵在于索引的命中率，緩存，系統(tǒng)的水平擴(kuò)展。
如果數(shù)據(jù)庫(kù)很少，你搞這么多byte能提高性能？
如果數(shù)據(jù)庫(kù)很大，你搞這么多byte不兼容索引不兼容緩存，不是害自已嗎？
如果數(shù)據(jù)庫(kù)要求伸縮性，你搞這么多byte，需要不斷改程序，不是自找苦嗎？
如果數(shù)據(jù)庫(kù)要求移植性，你搞這么多byte，移植起來(lái)不如重新設(shè)計(jì)，這是不是很多公司不斷加班的原因？
?
不依賴于數(shù)據(jù)存儲(chǔ)系統(tǒng)是分層設(shè)計(jì)思想的精華，實(shí)現(xiàn)戰(zhàn)略性能最大化，而不是追求戰(zhàn)術(shù)單機(jī)性能最大化。
?
不要迷信數(shù)據(jù)庫(kù)性能，不要迷信三范式，不要使用外鍵，不要使用byte，不要使用自增id，不要使用存儲(chǔ)過(guò)程，不要使用內(nèi)部函數(shù)，不要使用非標(biāo)準(zhǔn)sql，存儲(chǔ)系統(tǒng)只做存儲(chǔ)系統(tǒng)的事。當(dāng)出現(xiàn)系統(tǒng)性能時(shí)，如此設(shè)計(jì)的數(shù)據(jù)庫(kù)可以更好的實(shí)現(xiàn)遷移數(shù)據(jù)庫(kù)（如mysql->oracle)，實(shí)現(xiàn)nosql改造（(mongodb/hadoop），實(shí)現(xiàn)key-value緩存(redis,memcache)。
?
二、
很多程序員有對(duì)性能認(rèn)識(shí)有誤區(qū)，如使用存儲(chǔ)過(guò)程代替正常程序，其實(shí)使用存儲(chǔ)過(guò)程只是追求單服務(wù)器的高性能，當(dāng)需要服務(wù)器水平擴(kuò)展時(shí)，存儲(chǔ)過(guò)程中的業(yè)務(wù)邏輯就是你的噩運(yùn)。
?
三、
除數(shù)字日期，能用字符串存儲(chǔ)的字段盡量使用字符串存儲(chǔ)，不要為節(jié)省那不值錢的1個(gè)g的硬盤而使用類似字節(jié)之類的字段，進(jìn)而大幅犧牲系統(tǒng)可伸縮性和可擴(kuò)展性。
不要為了追求所謂的性能，引入byte，使用byte注定是短命和難于移植，想想為什么html,email一直流行，因?yàn)樗鼈兪褂玫氖亲址硎痉ǎ灰腥祟愑肋h(yuǎn)都能解析，如email把二進(jìn)制轉(zhuǎn)成base64存儲(chǔ)。除了實(shí)時(shí)系統(tǒng)，視頻外，建議使用字符串來(lái)存儲(chǔ)數(shù)據(jù)，系統(tǒng)性能的關(guān)鍵在于分布式，在于水平擴(kuò)展。
?
?
本次博文到此結(jié)束，希望大家對(duì)本次主題“如何在高并發(fā)分布式系統(tǒng)中生成全局唯一Id”多提出自己寶貴的意見(jiàn)。
更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主
微信掃碼或搜索：z360901061
微信掃一掃加我為好友
QQ號(hào)聯(lián)系： 360901061
您的支持是博主寫作最大的動(dòng)力，如果您喜歡我的文章，感覺(jué)我的文章對(duì)您有幫助，請(qǐng)用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧，狠狠點(diǎn)擊下面給點(diǎn)支持吧，站長(zhǎng)非常感激您！手機(jī)微信長(zhǎng)按不能支付解決辦法：請(qǐng)將微信支付二維碼保存到相冊(cè)，切換到微信，然后點(diǎn)擊微信右上角掃一掃功能，選擇支付二維碼完成支付。
【本文對(duì)您有幫助就好】元
