一.垃圾回收機(jī)制

Python中的垃圾回收是以引用計(jì)數(shù)為主，分代收集為輔。引用計(jì)數(shù)的缺陷是循環(huán)引用的問題。
在Python中，如果一個(gè)對(duì)象的引用數(shù)為0，Python虛擬機(jī)就會(huì)回收這個(gè)對(duì)象的內(nèi)存。

            
#encoding=utf-8
__author__ = 'kevinlu1010@qq.com'
 
class ClassA():
  def __init__(self):
    print 'object born,id:%s'%str(hex(id(self)))
  def __del__(self):
    print 'object del,id:%s'%str(hex(id(self)))
 
def f1():
  while True:
    c1=ClassA()
    del c1

          

執(zhí)行f1()會(huì)循環(huán)輸出這樣的結(jié)果，而且進(jìn)程占用的內(nèi)存基本不會(huì)變動(dòng)

            
object born,id:0x237cf58
object del,id:0x237cf58

          

c1=ClassA()會(huì)創(chuàng)建一個(gè)對(duì)象，放在0x237cf58內(nèi)存中，c1變量指向這個(gè)內(nèi)存，這時(shí)候這個(gè)內(nèi)存的引用計(jì)數(shù)是1
del c1后，c1變量不再指向0x237cf58內(nèi)存，所以這塊內(nèi)存的引用計(jì)數(shù)減一，等于0，所以就銷毀了這個(gè)對(duì)象，然后釋放內(nèi)存。

導(dǎo)致引用計(jì)數(shù)+1的情況
對(duì)象被創(chuàng)建，例如a=23
對(duì)象被引用，例如b=a
對(duì)象被作為參數(shù)，傳入到一個(gè)函數(shù)中，例如func(a)
對(duì)象作為一個(gè)元素，存儲(chǔ)在容器中，例如list1=[a,a]
導(dǎo)致引用計(jì)數(shù)-1的情況
對(duì)象的別名被顯式銷毀，例如del a
對(duì)象的別名被賦予新的對(duì)象，例如a=24
一個(gè)對(duì)象離開它的作用域，例如f函數(shù)執(zhí)行完畢時(shí)，func函數(shù)中的局部變量（全局變量不會(huì)）
對(duì)象所在的容器被銷毀，或從容器中刪除對(duì)象

demo

            
def func(c,d):
  print 'in func function', sys.getrefcount(c) - 1
 
 
print 'init', sys.getrefcount(11) - 1
a = 11
print 'after a=11', sys.getrefcount(11) - 1
b = a
print 'after b=1', sys.getrefcount(11) - 1
func(11)
print 'after func(a)', sys.getrefcount(11) - 1
list1 = [a, 12, 14]
print 'after list1=[a,12,14]', sys.getrefcount(11) - 1
a=12
print 'after a=12', sys.getrefcount(11) - 1
del a
print 'after del a', sys.getrefcount(11) - 1
del b
print 'after del b', sys.getrefcount(11) - 1
# list1.pop(0)
# print 'after pop list1',sys.getrefcount(11)-1
del list1
print 'after del list1', sys.getrefcount(11) - 1

          

輸出：

            
init 24
after a=11 25
after b=1 26
in func function 28
after func(a) 26
after list1=[a,12,14] 27
after a=12 26
after del a 26
after del b 25
after del list1 24

          

問題：為什么調(diào)用函數(shù)會(huì)令引用計(jì)數(shù)+2

查看一個(gè)對(duì)象的引用計(jì)數(shù)
sys.getrefcount(a)可以查看a對(duì)象的引用計(jì)數(shù)，但是比正常計(jì)數(shù)大1，因?yàn)檎{(diào)用函數(shù)的時(shí)候傳入a，這會(huì)讓a的引用計(jì)數(shù)+1

二.循環(huán)引用導(dǎo)致內(nèi)存泄露

            
def f2():
  while True:
    c1=ClassA()
    c2=ClassA()
    c1.t=c2
    c2.t=c1
    del c1
    del c2
    

          

執(zhí)行f2()，進(jìn)程占用的內(nèi)存會(huì)不斷增大。

            
object born,id:0x237cf30
object born,id:0x237cf58

          

創(chuàng)建了c1，c2后，0x237cf30（c1對(duì)應(yīng)的內(nèi)存，記為內(nèi)存1）,0x237cf58（c2對(duì)應(yīng)的內(nèi)存，記為內(nèi)存2）這兩塊內(nèi)存的引用計(jì)數(shù)都是1，執(zhí)行c1.t=c2和c2.t=c1后，這兩塊內(nèi)存的引用計(jì)數(shù)變成2.

在del c1后，內(nèi)存1的對(duì)象的引用計(jì)數(shù)變?yōu)?，由于不是為0，所以內(nèi)存1的對(duì)象不會(huì)被銷毀，所以內(nèi)存2的對(duì)象的引用數(shù)依然是2，在del c2后，同理，內(nèi)存1的對(duì)象，內(nèi)存2的對(duì)象的引用數(shù)都是1。

雖然它們兩個(gè)的對(duì)象都是可以被銷毀的，但是由于循環(huán)引用，導(dǎo)致垃圾回收器都不會(huì)回收它們，所以就會(huì)導(dǎo)致內(nèi)存泄露。

三.垃圾回收

            
deff3():
  # print gc.collect()
  c1=ClassA()
  c2=ClassA()
  c1.t=c2
  c2.t=c1
  del c1
  del c2
  print gc.garbage
  print gc.collect() #顯式執(zhí)行垃圾回收
  print gc.garbage
  time.sleep(10)
if __name__ == '__main__':
  gc.set_debug(gc.DEBUG_LEAK) #設(shè)置gc模塊的日志
  f3()

          

輸出：

Python

            
gc: uncollectable 
            
              
gc: uncollectable 
              
                
gc: uncollectable 
                
                  
gc: uncollectable 
                  
                    
object born,id:0x230e918
object born,id:0x230e940

                  
                
              
            
          

4
垃圾回收后的對(duì)象會(huì)放在gc.garbage列表里面
gc.collect()會(huì)返回不可達(dá)的對(duì)象數(shù)目，4等于兩個(gè)對(duì)象以及它們對(duì)應(yīng)的dict

有三種情況會(huì)觸發(fā)垃圾回收：

1.調(diào)用gc.collect(),
2.當(dāng)gc模塊的計(jì)數(shù)器達(dá)到閥值的時(shí)候。
3.程序退出的時(shí)候

四.gc模塊常用功能解析

Garbage Collector interface


gc模塊提供一個(gè)接口給開發(fā)者設(shè)置垃圾回收的選項(xiàng)。上面說到，采用引用計(jì)數(shù)的方法管理內(nèi)存的一個(gè)缺陷是循環(huán)引用，而gc模塊的一個(gè)主要功能就是解決循環(huán)引用的問題。

常用函數(shù)：

gc.set_debug(flags)
設(shè)置gc的debug日志，一般設(shè)置為gc.DEBUG_LEAK

gc.collect([generation])
顯式進(jìn)行垃圾回收，可以輸入?yún)?shù)，0代表只檢查第一代的對(duì)象，1代表檢查一，二代的對(duì)象，2代表檢查一，二，三代的對(duì)象，如果不傳參數(shù)，執(zhí)行一個(gè)full collection，也就是等于傳2。
返回不可達(dá)（unreachable objects）對(duì)象的數(shù)目

gc.set_threshold(threshold0[, threshold1[, threshold2])
設(shè)置自動(dòng)執(zhí)行垃圾回收的頻率。

gc.get_count()
獲取當(dāng)前自動(dòng)執(zhí)行垃圾回收的計(jì)數(shù)器，返回一個(gè)長度為3的列表

gc模塊的自動(dòng)垃圾回收機(jī)制

必須要import gc模塊，并且is_enable()=True才會(huì)啟動(dòng)自動(dòng)垃圾回收。
這個(gè)機(jī)制的主要作用就是發(fā)現(xiàn)并處理不可達(dá)的垃圾對(duì)象。
垃圾回收=垃圾檢查+垃圾回收
在Python中，采用分代收集的方法。把對(duì)象分為三代，一開始，對(duì)象在創(chuàng)建的時(shí)候，放在一代中，如果在一次一代的垃圾檢查中，改對(duì)象存活下來，就會(huì)被放到二代中，同理在一次二代的垃圾檢查中，該對(duì)象存活下來，就會(huì)被放到三代中。

gc模塊里面會(huì)有一個(gè)長度為3的列表的計(jì)數(shù)器，可以通過gc.get_count()獲取。
例如(488,3,0)，其中488是指距離上一次一代垃圾檢查，Python分配內(nèi)存的數(shù)目減去釋放內(nèi)存的數(shù)目，注意是內(nèi)存分配，而不是引用計(jì)數(shù)的增加。例如：

            
print gc.get_count() # (590, 8, 0)
a = ClassA()
print gc.get_count() # (591, 8, 0)
del a
print gc.get_count() # (590, 8, 0)

          

3是指距離上一次二代垃圾檢查，一代垃圾檢查的次數(shù)，同理，0是指距離上一次三代垃圾檢查，二代垃圾檢查的次數(shù)。

gc模快有一個(gè)自動(dòng)垃圾回收的閥值，即通過gc.get_threshold函數(shù)獲取到的長度為3的元組，例如(700,10,10)
每一次計(jì)數(shù)器的增加，gc模塊就會(huì)檢查增加后的計(jì)數(shù)是否達(dá)到閥值的數(shù)目，如果是，就會(huì)執(zhí)行對(duì)應(yīng)的代數(shù)的垃圾檢查，然后重置計(jì)數(shù)器

例如，假設(shè)閥值是(700,10,10)：

當(dāng)計(jì)數(shù)器從(699,3,0)增加到(700,3,0)，gc模塊就會(huì)執(zhí)行g(shù)c.collect(0),即檢查一代對(duì)象的垃圾，并重置計(jì)數(shù)器為(0,4,0)
當(dāng)計(jì)數(shù)器從(699,9,0)增加到(700,9,0)，gc模塊就會(huì)執(zhí)行g(shù)c.collect(1),即檢查一、二代對(duì)象的垃圾，并重置計(jì)數(shù)器為(0,0,1)
當(dāng)計(jì)數(shù)器從(699,9,9)增加到(700,9,9)，gc模塊就會(huì)執(zhí)行g(shù)c.collect(2),即檢查一、二、三代對(duì)象的垃圾，并重置計(jì)數(shù)器為(0,0,0)

其他

如果循環(huán)引用中，兩個(gè)對(duì)象都定義了__del__方法，gc模塊不會(huì)銷毀這些不可達(dá)對(duì)象，因?yàn)間c模塊不知道應(yīng)該先調(diào)用哪個(gè)對(duì)象的__del__方法，所以為了安全起見，gc模塊會(huì)把對(duì)象放到gc.garbage中，但是不會(huì)銷毀對(duì)象。

五.應(yīng)用

• 項(xiàng)目中避免循環(huán)引用
• 引入gc模塊，啟動(dòng)gc模塊的自動(dòng)清理循環(huán)引用的對(duì)象機(jī)制
• 由于分代收集，所以把需要長期使用的變量集中管理，并盡快移到二代以后，減少GC檢查時(shí)的消耗
• gc模塊唯一處理不了的是循環(huán)引用的類都有__del__方法，所以項(xiàng)目中要避免定義__del__方法，如果一定要使用該方法，同時(shí)導(dǎo)致了循環(huán)引用，需要代碼顯式調(diào)用gc.garbage里面的對(duì)象的__del__來打破僵局