首先感謝這位博主整理的Andrew Ng的deeplearning.ai的相關(guān)作業(yè)：https://blog.csdn.net/u013733326/article/details/79827273

開(kāi)一個(gè)我的github傳送門，可以看到代碼。

https://github.com/VVV-LHY/deeplearning.ai/tree/master/improveNeuralNetwork/InitializeRegularize

L2正則化

待分類的數(shù)據(jù)點(diǎn)集;

未使用L2正則化的模型迭代過(guò)程和accuracy：

使用L2正則化的模型迭代過(guò)程和accuracy：

未使用L2正則化的訓(xùn)練集分類效果：

使用L2正則化的訓(xùn)練集分類效果：

明顯可以看出，未使用L2正則化的模型在訓(xùn)練集上過(guò)擬合了數(shù)據(jù)，使用L2正則化可以有效避免過(guò)擬合問(wèn)題。

所謂L2正則化就是減小了訓(xùn)練集的過(guò)擬合程度，lambd參數(shù)可以讓決策邊界更加平滑，當(dāng)然如果參數(shù)過(guò)大會(huì)導(dǎo)致過(guò)度平滑從而加大偏差。
L2正則化依賴于假設(shè)”較小權(quán)重的模型比較大權(quán)重的模型更簡(jiǎn)單“，因此通過(guò)削減成本函數(shù)中權(quán)重的平方值，即乘lambd(lambd < 1)來(lái)將權(quán)重逐漸變小。
L2正則化的影響：
1.成本計(jì)算花費(fèi)更多
2.反向傳播的花費(fèi)更多
3.權(quán)重衰減，權(quán)重被逐漸改變的較小的范圍

?dropout正則化：

所謂dropout正則化就是隨機(jī)刪除隱含層單元節(jié)點(diǎn)的方法，可以對(duì)一個(gè)網(wǎng)絡(luò)中的不同隱含層設(shè)置隨機(jī)刪除節(jié)點(diǎn)的百分比，這樣在每一次迭代中部分節(jié)點(diǎn)會(huì)隨機(jī)失效。

其作用是，讓每一個(gè)節(jié)點(diǎn)相對(duì)于其他所有節(jié)點(diǎn)的敏感性下降，因?yàn)槊看蔚惺У墓?jié)點(diǎn)都是隨機(jī)的，其他節(jié)點(diǎn)在任意時(shí)間都有可能失活。

使用dropout正則化的模型迭代過(guò)程和accuracy：

使用dropout正則化的訓(xùn)練集分類效果：

隨機(jī)刪除節(jié)點(diǎn)的正則化方法會(huì)降低訓(xùn)練集的準(zhǔn)確率，但會(huì)提升測(cè)試集的準(zhǔn)確率，所以適當(dāng)?shù)氖褂谜齽t化方法不失為一種降低過(guò)擬合，提升準(zhǔn)確率的選擇。