目錄
- 實際問題
- 問題解決思路
- 代碼實現(xiàn)
- LAST 參考文獻
實際問題
Pytorch有的時候需要對一些層的參數(shù)進行固定，這些層不進行參數(shù)的梯度更新
問題解決思路
那么從理論上來說就有兩種辦法
- 優(yōu)化器初始化的時候不包含這些不想被更新的參數(shù)，這樣他們會進行梯度回傳，但是不會被更新
- 將這些不會被更新的參數(shù)梯度歸零，或者不計算它們的梯度
思路就是利用tensor的requires_grad，每一個tensor都有自己的requires_grad成員，值只能為True和False。我們對不需要參與訓練的參數(shù)的requires_grad設置為False。
在optim參數(shù)模型參數(shù)中過濾掉requires_grad為False的參數(shù)。
還是以上面搭建的簡單網(wǎng)絡為例，我們固定第一個卷積層的參數(shù)，訓練其他層的所有參數(shù)。
代碼實現(xiàn)
class Net(nn.Module):
def __init__(self):
super(Net,self).__init__()
self.conv1 = nn.Conv2d(3,32,3)
self.conv2 = nn.Conv2d(32,24,3)
self.prelu = nn.PReLU()
for m in self.modules():
if isinstance(m,nn.Conv2d):
nn.init.xavier_normal_(m.weight.data)
nn.init.constant_(m.bias.data,0)
if isinstance(m,nn.Linear):
m.weight.data.normal_(0.01,0,1)
m.bias.data.zero_()
def forward(self, input):
out = self.conv1(input)
out = self.conv2(out)
out = self.prelu(out)
return out
遍歷第一層的參數(shù)，然后為其設置requires_grad
model = Net()
for name, p in model.named_parameters():
if name.startswith('conv1'):
p.requires_grad = False
optimizer = torch.optim.Adam(filter(lambda x: x.requires_grad is not False ,model.parameters()),lr= 0.2)
為了驗證一下我們的設置是否正確，我們分別看看model中的參數(shù)的requires_grad和optim中的params_group()。
for p in model.parameters():
print(p.requires_grad)
能看出優(yōu)化器僅僅對requires_grad為True的參數(shù)進行迭代優(yōu)化。
LAST 參考文獻
Pytorch中，動態(tài)調(diào)整學習率、不同層設置不同學習率和固定某些層訓練的方法_我的博客有點東西-CSDN博客
到此這篇關(guān)于Pytorch實現(xiàn)網(wǎng)絡部分層的固定不進行回傳更新的文章就介紹到這了,更多相關(guān)Pytorch網(wǎng)絡部分層內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
您可能感興趣的文章:- PyTorch實現(xiàn)更新部分網(wǎng)絡,其他不更新
- Pytorch訓練網(wǎng)絡過程中l(wèi)oss突然變?yōu)?的解決方案
- pytorch 一行代碼查看網(wǎng)絡參數(shù)總量的實現(xiàn)
- pytorch 網(wǎng)絡參數(shù) weight bias 初始化詳解
