摘要

本文為系列博客tensorflow模型部署系列的一部分，用于實現通用模型的部署。通用主要體現在通過tensorboard圖從已保存的模型中還原并查看模型詳細結構，以及自定義模型的輸入輸出tensor。相關源碼見鏈接

---

引言

本文為系列博客 tensorflow模型部署系列的一部分，用于 python 語言實現通用模型的部署。通用主要體現在通過 tensorboard 圖從已保存的模型中還原并查看模型詳細結構，以及自定義模型的輸入輸出tensor。本文主要使用keras和pb兩種模型文件，其它格式的模型文件請先進行格式轉換tensorflow模型部署系列————預訓練模型導出

主題

上一篇博文tensorflow模型部署系列————預訓練模型導出就如何將模型導出為文件以及如何利用模型文件進行推理進行講解，博文中也開放了使用 python 進行模型推理的代碼，本文也是使用python進行模型推理。主要區別在于：

1. 將模型推理代碼對象化，分離模型加載和模型推理為不同的方法，以減少實際部署時速度過慢問題
2. 有時我們拿到的只有模型文件，如網上下載、比賽提交代碼、前同事留下的模型等等。我們并不知道這些模型文件的具體結構及內部張量名稱，使得模型部署無法進行。本文會介紹查看模型文件模型結構及張量名稱的通用方法，進行可以對任意模型文件進行部署

查看已保存模型的結構

keras模型文件

• 打印模型結構 model.summary()

• 繪制簡單的模型圖 keras.utils.plot_model(model,'./keras/model.png')

• 生成tensorboard文件

                  
                    tensorboard_callback = keras.callbacks.TensorBoard('./keras')
  tensorboard_callback.set_model(model)
  tensorboard_callback.writer.flush()
  
                  
                

pb模型文件

• 生成tensorboard文件

                  
                    file_writer = tf.summary.FileWriter('./pb')
  file_writer.add_graph(graph)
  file_writer.flush()
  
                  
                

然后輸入命令行 tensorboard --logdir=./ 查看tensorboard模型圖

查看已保存模型的輸入和輸出

通過tensorboard圖查看

在網頁中點擊圖的輸入和輸入即可看到輸入和輸出的詳細屬性。 注意：如果輸出是矩形框，說明它是組合操作，要雙擊進入到它的內部，找到最后的橢圓形才是模型可識別的tensor

最終代碼要在tensor名后加上 :0 上圖中輸入tensor名稱為 input:0 ，輸出tensor名稱為 output/Softmax:0

通過代碼查看

通過代碼查看所有op名稱

            
              op = graph.get_operations()
for i, m in enumerate(op):
   print('op{}:'.format(i), m.values())

            
          

以上代碼會打印出很多圖，如下格式

            
              op0: (
              
                ,)
op1: (
                
                  ,)
op2: (
                  
                    ,)
op3: (
                    
                      ,)
.
.
.


                    
                  
                
              
            
          

op的打印順序大致以 以下順序排列：

• 前向傳播op
• 占位符op
• 優化器op
• 評估指標（loss、acc）op
• 反向傳播梯度op

我們查找輸入輸出op時只要在前向傳播op里面尋找就行了。一般來說，打印的第一個op是輸入op，前向傳播op的最后一個op為輸出op。當然，我們也可以根據需要用中間一些op做為輸入和輸出，這在提取特征和遷移學習場景會用到

以第一行為例。 'sequential_1_input:0' 為張量名稱， float32 為張量類型， (?, 784) 為張量維度

python部署代碼

模型封裝類

模型封裝類主要包括兩個方法：初始化和推理。

初始化只用于處理與 sess.run 無關的所有操作，以減少推理時的操作，保證模型推理高效運行。初始化主要進行的操作包括：模型文件加載、獲取計算圖和計算session、根據輸入輸出tensor名稱獲取輸入輸出tensor

推理僅僅執行 sesson.run 操作

模型封裝類示例代碼

經過模型封裝類封裝以后，示例代碼就很簡單了。只用準備數據，然后推理就行了。

示例代碼

• 模型文件分析

  • keras模型文件分析代碼

  • pb模型文件分析代碼

• python部署

  • 模型封裝類
  • 模型封裝類示例代碼

附錄

參考

---

• tensorflow 官方 tensorboard教程
• keras官方model接口文檔中文版