首先感謝這位博主整理的Andrew Ng的deeplearning.ai的相關作業：https://blog.csdn.net/u013733326/article/details/79827273
開一個我的github傳送門，可以看到代碼。
https://github.com/VVV-LHY/deeplearning.ai/tree/master/improveNeuralNetwork/optimalNN
待分類的點集：
?
普通的梯度下降法GradientDescent(帶minibatch)的模型訓練過程：
動量梯度下降法(帶minibatch)：
Adam梯度下降法(帶minibatch)：
三種算法在訓練集上的準確率：
?
對比普通的梯度下降GD、動量梯度下降法momentum、Adam三種方法可知：
- GD和momentum的準確率accuracy都為0.797，Adam的準確率為0.94。這說明在相同的迭代次數即時間花費下，Adam的收斂速度最快，對算法的效率有明顯提升。
- GD和momentum相對于Adam有明顯的預熱過程，即不會在剛開始突然加快梯度下降速度，而是會慢慢迭代。而Adam在第1000次迭代的時候就已經快要收斂。
- 通常來說momentum也具備很好的效果，但是本實驗的點集很小且迭代次數不夠多，所以無法體現momentum對普通梯度下降的優勢。
- GD和momentnum的迭代震蕩幅度要高于Adam，Adam的收斂范圍更小更平滑。?
?
更多文章、技術交流、商務合作、聯系博主
微信掃碼或搜索：z360901061
微信掃一掃加我為好友
QQ號聯系： 360901061
您的支持是博主寫作最大的動力，如果您喜歡我的文章，感覺我的文章對您有幫助，請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧，狠狠點擊下面給點支持吧，站長非常感激您！手機微信長按不能支付解決辦法：請將微信支付二維碼保存到相冊，切換到微信，然后點擊微信右上角掃一掃功能，選擇支付二維碼完成支付。
【本文對您有幫助就好】元
