一，redis內(nèi)存管理介紹

? redis是一個(gè)基于內(nèi)存的key-value的數(shù)據(jù)庫(kù)，其內(nèi)存管理是很重要的，為了屏蔽不同平臺(tái)之間的差異，以及統(tǒng)計(jì)內(nèi)存占用量等，redis對(duì)內(nèi)存分配函數(shù)進(jìn)行了一層封裝，程序中統(tǒng)一使用zmalloc，zfree一系列函數(shù)，其相應(yīng)的源代碼在 src/zmalloc.h 和 src/zmalloc.c 兩個(gè)文件里，源代碼點(diǎn) 這里 。

二，redis內(nèi)存管理源代碼分析

redis封裝是為了屏蔽底層平臺(tái)的差異，同一時(shí)候方便自己實(shí)現(xiàn)相關(guān)的函數(shù)，我們能夠通過 src/zmalloc.h 文件里的相關(guān)宏定義來分析redis是怎么實(shí)現(xiàn)底層平臺(tái)差異的屏蔽的， zmalloc.h 中相關(guān)宏聲明例如以下 ：

      #if defined(USE_TCMALLOC)
#define ZMALLOC_LIB ("tcmalloc-" __xstr(TC_VERSION_MAJOR) "." __xstr(TC_VERSION_MINOR))
#include <google/tcmalloc.h>
#if (TC_VERSION_MAJOR == 1 && TC_VERSION_MINOR >= 6) || (TC_VERSION_MAJOR > 1)
#define HAVE_MALLOC_SIZE 1
#define zmalloc_size(p) tc_malloc_size(p)
#else
#error "Newer version of tcmalloc required"
#endif

#elif defined(USE_JEMALLOC)
#define ZMALLOC_LIB ("jemalloc-" __xstr(JEMALLOC_VERSION_MAJOR) "." __xstr(JEMALLOC_VERSION_MINOR) "." __xstr(JEMALLOC_VERSION_BUGFIX))
#include <jemalloc/jemalloc.h>
#if (JEMALLOC_VERSION_MAJOR == 2 && JEMALLOC_VERSION_MINOR >= 1) || (JEMALLOC_VERSION_MAJOR > 2)
#define HAVE_MALLOC_SIZE 1
#define zmalloc_size(p) je_malloc_usable_size(p)
#else
#error "Newer version of jemalloc required"
#endif

#elif defined(__APPLE__)
#include <malloc/malloc.h>
#define HAVE_MALLOC_SIZE 1
#define zmalloc_size(p) malloc_size(p)
#endif

#ifndef ZMALLOC_LIB
#define ZMALLOC_LIB "libc"
#endif

...
#ifndef HAVE_MALLOC_SIZE
size_t zmalloc_size(void *ptr);
#endif


    

    

    
    

      通過上面的宏的預(yù)處理我們能夠發(fā)現(xiàn)redis為了屏蔽不同系統(tǒng)(庫(kù))的差異進(jìn)行了例如以下預(yù)處理：
    
    

      
        A
      
      ，若系統(tǒng)中存在Google的TC_MALLOC庫(kù)，則使用tc_malloc一族函數(shù)取代原本的malloc一族函數(shù)。
    
    

      
        B
      
      ，若系統(tǒng)中存在FaceBook的JEMALLOC庫(kù)，則使用je_malloc一族函數(shù)取代原本的malloc一族函數(shù)。 ??
    
    

      
        C
      
      ，若當(dāng)前系統(tǒng)是Mac系統(tǒng)，則使用<malloc/malloc.h>中的內(nèi)存分配函數(shù)。??? 
    
    

      
        D
      
      ，其它情況，在每一段分配好的空間前頭，同一時(shí)候多分配一個(gè)定長(zhǎng)的字段，用來記錄分配的空間大小。?
    
    

      tc_malloc是google開源處理的一套內(nèi)存管理庫(kù)，是用C++實(shí)現(xiàn)的，主頁(yè)在
      
        這里
      
      。TCMalloc給每一個(gè)線程分配了一個(gè)線程局部緩存。小分配能夠直接由線程局部緩存來滿足。須要的話，會(huì)將對(duì)象從中央數(shù)據(jù)結(jié)構(gòu)移動(dòng)到線程局部緩存中，同一時(shí)候定期的垃圾收集將用于把內(nèi)存從線程局部緩存遷移回中央數(shù)據(jù)結(jié)構(gòu)中。這篇
      
        文章
      
      里對(duì)TCMalloc有個(gè)具體的介紹。
    
    

      jemalloc 
      
         也是一個(gè)內(nèi)存創(chuàng)管理庫(kù)，其創(chuàng)始人Jason Evans也是在FreeBSD非常有名的開發(fā)者
      
      ，參見
      
        這里
      
      。Jemalloc聚集了malloc的使用過程中所驗(yàn)證的非常多技術(shù)。忽略細(xì)節(jié)，從架構(gòu)著眼，最出色的部分仍是arena和thread cache。
    
    

      讀者一定會(huì)有疑問系統(tǒng)不是有了malloc 嗎，為什么還有這種內(nèi)存管理庫(kù)？？ 因?yàn)榻?jīng)典的libc的分配器碎片率為較高，能夠查看
      
        這篇文章
      
      的分析，關(guān)于內(nèi)存碎片不太了解的童鞋請(qǐng)參考
      
        這里
      
      ，?malloc 和free 怎么工作的參考
      
        這里
      
      。 關(guān)于ptmalloc,tcmalloc和jemalloc內(nèi)存分配策略的一篇總結(jié)不錯(cuò)的文章，請(qǐng)點(diǎn)
      
        這里
      
      。
    
    

      以下介紹redis封裝的內(nèi)存管理相關(guān)函數(shù)，
      
        src/zmalloc.h
      
      有相關(guān)聲明。
    
    

    
    
      void *zmalloc(size_t size);//malloc
void *zcalloc(size_t size);//calloc
void *zrealloc(void *ptr, size_t size);/realloc
void zfree(void *ptr);//free
char *zstrdup(const char *s);
size_t zmalloc_used_memory(void);
void zmalloc_enable_thread_safeness(void);
void zmalloc_set_oom_handler(void (*oom_handler)(size_t));
float zmalloc_get_fragmentation_ratio(void);
size_t zmalloc_get_rss(void);
size_t zmalloc_get_private_dirty(void);
void zlibc_free(void *ptr);
    
    

    
    

      如今主要介紹下redis內(nèi)存分配函數(shù) void *zmalloc(size_t size)，其相應(yīng)的聲明形式例如以下：
    
    

    
    
      void *zmalloc(size_t size) {
    void *ptr = malloc(size+PREFIX_SIZE);

    if (!ptr) zmalloc_oom_handler(size);
#ifdef HAVE_MALLOC_SIZE
    update_zmalloc_stat_alloc(zmalloc_size(ptr));
    return ptr;
#else
    *((size_t*)ptr) = size;
    update_zmalloc_stat_alloc(size+PREFIX_SIZE);
    return (char*)ptr+PREFIX_SIZE;
#endif
}
    
    

    
    

      閱讀源代碼我們發(fā)現(xiàn)有個(gè)PREFIX_SIZE 宏，其宏定義形式例如以下：
    
    

    
    
      /* zmalloc.c */
#ifdef HAVE_MALLOC_SIZE
#define PREFIX_SIZE (0)       
#else  
#if defined(__sun)
#define PREFIX_SIZE (sizeof(long long))
#else                         
#define PREFIX_SIZE (sizeof(size_t))
#endif
#endif
    
    

     結(jié)合 
   
    
      src/zmalloc.h
    
    有相關(guān)宏聲明，我們發(fā)現(xiàn)，由于 tc_malloc 、je_malloc 和 Mac平臺(tái)下的 malloc 函數(shù)族提供了計(jì)算已分配空間大小的函數(shù)（各自是tc_malloc_size, je_malloc_usable_size和malloc_size），所以就不須要單獨(dú)分配一段空間記錄大小了。在linux和sun平臺(tái)則要記錄分配空間大小。對(duì)于linux，使用sizeof(size_t)定長(zhǎng)字段記錄；對(duì)于sun 系統(tǒng)，使用sizeof(long long)定長(zhǎng)字段記錄，其相應(yīng)源代碼中的 PREFIX_SIZE 宏。 
   
    

      PREFIX_SIZE 有什么用呢？
    
    

      為了統(tǒng)計(jì)當(dāng)前進(jìn)程究竟占用了多少內(nèi)存。在
      
         zmalloc.c 
      
      中，有一個(gè)靜態(tài)變量：
      

    
    
      static size_t used_memory = 0;
    
    這個(gè)變量它記錄了進(jìn)程當(dāng)前占用的內(nèi)存總數(shù)。每當(dāng)要分配內(nèi)存或是釋放內(nèi)存的時(shí)候，都要更新這個(gè)變量(當(dāng)然能夠是線程安全的)。由于分配內(nèi)存的時(shí)候，須要指定分配多少內(nèi)存。可是釋放內(nèi)存的時(shí)候，（對(duì)于未提供malloc_size函數(shù)的內(nèi)存庫(kù)）通過指向要釋放內(nèi)存的指針是不能知道釋放的空間究竟有多大的。這時(shí)候，上面提到的PREFIX_SIZE就起作用了，能夠通過當(dāng)中記錄的內(nèi)容得到空間的大小。（只是在linux系統(tǒng)上也有對(duì)應(yīng)的函數(shù)獲得分配內(nèi)存空間的大小,參見 
   
    
      這里
    
    ）。 
   
    

    
    

      通過zmalloc的源代碼我們能夠發(fā)現(xiàn)，其分配空間代碼為void *ptr = malloc(size+PREFIX_SIZE); 顯然其分配空間大小為:size+PREFIX_SIZE ，對(duì)于使用tc_malloc或je_malloc的情況或mac系統(tǒng)，其 PREFIX_SIZE 為0。當(dāng)分配失敗時(shí)有對(duì)應(yīng)的出錯(cuò)處理 。
    
    

      前面我們已經(jīng)說過redis通過使用used_memory 的變量來統(tǒng)計(jì)當(dāng)前進(jìn)程究竟占用了多少內(nèi)存，因此在分配和釋放內(nèi)存時(shí)我們須要緊接著更新used_memory 的相應(yīng)值，相應(yīng)到redis源代碼中為：
      

    
    

    
    
      #ifdef HAVE_MALLOC_SIZE
    update_zmalloc_stat_alloc(zmalloc_size(ptr));
    return ptr;
#else
    *((size_t*)ptr) = size;
    update_zmalloc_stat_alloc(size+PREFIX_SIZE);
    return (char*)ptr+PREFIX_SIZE;
#endif
    
    上面的代碼有事宏預(yù)處理 #ifdef HAVE_MALLOC_SIZE 顯然是上面我們說過的利用的tc_malloc je_malloc Mac等提供malloc_size函數(shù)的情形，我們能夠非常easy得知分配內(nèi)存的大小通過統(tǒng)一化的malloc_size函數(shù)就可以。可是對(duì)于沒有提供malloc_size功能的函數(shù)，redis是怎么處理的呢？看上面的源代碼 #else以下的代碼即是事實(shí)上現(xiàn)，其相應(yīng)的內(nèi)存結(jié)構(gòu)例如以下： 
   
    

    

      

        

          

            
              prefix-size
            
          
          

            
              memory size
            
          
        
      
    
     分配的內(nèi)存前加一個(gè)固定大小的prefis-size空間，用于記錄該段內(nèi)存的大小，size所占領(lǐng)的內(nèi)存大小是已知的，為size_t類型的長(zhǎng)度，因此通過*((size_t*)ptr) = size; 就可以對(duì)當(dāng)前內(nèi)存塊大小進(jìn)行指定。每次分配內(nèi)存后，返回的實(shí)際地址指針為指向memorysize的地址( (char*)ptr+PREFIX_SIZE; )，通過該指針，能夠非常easy的計(jì)算出實(shí)際內(nèi)存的頭地址，從而釋放內(nèi)存。 
   
    

    
    

      redis通過update_zmalloc_stat_alloc(__n,__size) 和 update_zmalloc_stat_free(__n) 這兩個(gè)宏負(fù)責(zé)在分配內(nèi)存或是釋放內(nèi)存的時(shí)候更新used_memory變量。update_zmalloc_stat_alloc定義例如以下：
    
    

    
    
      #define update_zmalloc_stat_alloc(__n) do { \
    size_t _n = (__n); \
    if (_n&(sizeof(long)-1)) _n += sizeof(long)-(_n&(sizeof(long)-1)); \ 
    if (zmalloc_thread_safe) { \
        update_zmalloc_stat_add(_n); \
    } else { \
        used_memory += _n; \
    } \
} while(0)
    
    redis把這個(gè)更新操作寫成宏的形式主要是處于效率的考慮。 
   
    

    
    

      上面的代碼中? 
      

    
    

      A，if (_n&(sizeof(long)-1)) _n += sizeof(long)-(_n&(sizeof(long)-1)); 
      

       ? 主要是考慮對(duì)齊問題，保證新增的_n 是 sizeof(long)的倍數(shù)。
    
    

      B, ? if (zmalloc_thread_safe) { \
      

       ??????? update_zmalloc_stat_add(_n); \
    
    

      ?????? }
      

    
    

      假設(shè)進(jìn)程中有多個(gè)線程存在，并保證線程安全zmalloc_thread_safe，則在更新變量的時(shí)候要加鎖。? 通過宏HAVE_ATOMIC選擇對(duì)應(yīng)的同步機(jī)制。
    
    

      zmalloc_calloc、zmalloc_free等的實(shí)現(xiàn)就不細(xì)致介紹了詳情參見
      
        源代碼
      
      。
    
    

      最后解說下 
      
        zmalloc_get_rss()
      
      函數(shù)。
      

       ?? 這個(gè)函數(shù)用來獲取進(jìn)程的RSS。神馬是RSS？全稱為Resident Set Size，指實(shí)際使用物理內(nèi)存（包括共享庫(kù)占用的內(nèi)存）。在linux系統(tǒng)中，能夠通過讀取/proc/pid/stat文件系統(tǒng)獲取，pid為當(dāng)前進(jìn)程的進(jìn)程號(hào)。讀取到的不是byte數(shù)，而是內(nèi)存頁(yè)數(shù)。通過系統(tǒng)調(diào)用sysconf(_SC_PAGESIZE)能夠獲得當(dāng)前系統(tǒng)的內(nèi)存頁(yè)大小。 獲得進(jìn)程的RSS后，能夠計(jì)算眼下數(shù)據(jù)的內(nèi)存碎片大小，直接用rss除以u(píng)sed_memory。rss包括進(jìn)程的全部?jī)?nèi)存使用，包括代碼，共享庫(kù)，堆棧等。 哪來的內(nèi)存碎片？上面我們已經(jīng)說明了通常考慮到效率，往往有內(nèi)存對(duì)齊等方面的考慮，所以，碎片就在這里產(chǎn)生了。相比傳統(tǒng)glibc中的malloc的內(nèi)存利用率不是非常高通常會(huì)使用別的內(nèi)存庫(kù)系統(tǒng)。在redis中默認(rèn)的已經(jīng)不使用簡(jiǎn)單的malloc了而是使用 jemalloc， 在源文件src/Makefile下有這樣一段代碼:
      

    
    

    
    
      

        
          ifeq ($(uname_S),Linux)
        
      
      

        
          MALLOC
        
        
          =
        
        jemalloc
  
    
      
    
     能夠知道在linux系統(tǒng)上默認(rèn)使用jemalloc, 在redis公布的源代碼中有相關(guān)的庫(kù) 
   
    
      deps/jemalloc
    
     。 
   
    

    
    

      

    
    

      總的來說 redis則全然自主分配內(nèi)存，在請(qǐng)求到的時(shí)候?qū)崟r(shí)依據(jù)內(nèi)建的算法分配內(nèi)存，全然自主控制內(nèi)存的管理。簡(jiǎn)單即是美吧，只是功能確實(shí)強(qiáng)大。
    
    

      

    
    

      參考：
    
    

      http://blog.ddup.us/?p=136