某天，應用程序突然掛了，程序中報錯連不上數據庫。登錄數據庫主機后，發現sqlplus也登錄不了，登錄時，sqlplus長時間沒有響應，檢查alertlog只是發現半小時前檢測到一個deadlock，沒有其他的報錯信息。心想oracle檢測到deadlock能自動解鎖，因此一開始沒懷疑到是因為deadlock的原因，由于登錄不上數據庫，為了盡快的回復業務，停掉應用程序，殺掉ps -ef |grep LOCAL=N的進程后，再次能登錄數據庫，重啟了數據庫，再次啟動應用，回復正常。

追溯原因時，一開始是懷疑系統的內核參數設置不正確，導致主機資源耗盡，因此無法sqlplus登錄。但是檢查了一遍主機的內核參數，發現均正常。主機的syslog同樣也沒發現異常。奇怪，為什么會出現掛死的現象？請教了老網蟲白鱔后，才明白了某些版本的oracle檢查到deadlock后會觸發一個關于deadlock的bug，導致enqueue hash chain的parent latch被hold住，然后在做SYSTEM DUMP的時候可能產生LATCH死鎖，這個時候可能hang住，時間可能是在幾秒鐘，也有可能是幾小時。

進一步檢查這個deadlock的trace文件：

檢查addr為c0000001c1a4d458的latch：

確實我們看到了enqueue hash chain。enqueue hash chain是用于保護每一個library cache中的hash bucket。
（這里借用一下eygle的圖說明一下library cache的結構）

由于parent latch被HOLD了，所有對數據庫library cache加鎖的操作都無法進行，而sqlplus登錄的時候要申請AUDSES$的SEQUENCE，因此sqlplus無法登錄，同理所有的應用程序也無法登錄——應用程序掛死。

在metalink上也確認了這個bug：2530125

可是，在第二天下午，再次出現的由于deadlock導致數據庫掛死的問題，檢查alertlog發現在很早之前已經有deadlock的現象，為何系統會頻繁的出現deadlock？

根據deadlock的trace文件，根據deadlock graph的wait的模式是SSX，這就很有可能是外鍵沒加索引造成。檢查相關語句中的外鍵，靠！確實是外鍵沒加索引。

對外鍵增加索引后，系統正常運行一周，不再發生死鎖，也不再發生掛死現象。至此問題解決。回顧問題：由于外鍵沒加索引–引起死鎖–觸發bug2530125–enqueue hash latch–無法登錄–程序掛死。

from:http://www.oracleblog.cn/working-case/deadlock-cause-db-hang/

ORA-000060: Deadlock detected: deadlock引起數據庫掛死