使用場(chǎng)景

我有兩個(gè)GPU卡。我希望我兩個(gè)GPU能并行運(yùn)行兩個(gè)網(wǎng)絡(luò)模型。

代碼

錯(cuò)誤代碼1：

#對(duì)于0號(hào)GPU
os.environ['CUDA_VISIBLE_DEVICES']='0,1'
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
#對(duì)于1號(hào)GPU
os.environ['CUDA_VISIBLE_DEVICES']='0,1'
device = torch.device("cuda:1" if torch.cuda.is_available() else "cpu")

0號(hào)GPU不報(bào)錯(cuò)，1號(hào)GPU報(bào)錯(cuò)。錯(cuò)誤如下

RuntimeError: Expected tensor for argument #1 ‘input' to have the same device as tensor for argument #2 ‘weight'; but device 0 does not equal 1 (while checking arguments for cudnn_convolution)

錯(cuò)誤代碼2：

#對(duì)于0號(hào)GPU
os.environ['CUDA_VISIBLE_DEVICES']='0'
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
#對(duì)于1號(hào)GPU
os.environ['CUDA_VISIBLE_DEVICES']='1'
device = torch.device("cuda:1" if torch.cuda.is_available() else "cpu")

0號(hào)GPU不報(bào)錯(cuò)，1號(hào)GPU報(bào)錯(cuò)。錯(cuò)誤如下

CUDA: invalid device ordinal

正確代碼如下：

#對(duì)于0號(hào)GPU
os.environ['CUDA_VISIBLE_DEVICES']='0'
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
#對(duì)于1號(hào)GPU
os.environ['CUDA_VISIBLE_DEVICES']='1'
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")

pytorch 多個(gè)gpu遇到的問(wèn)題

目前所在學(xué)校的計(jì)算機(jī)系自己搭建了個(gè)GPU Farm，設(shè)備是GTX 1080 Ti的，看起來(lái)還算ok，但其實(shí)細(xì)究起來(lái)還挺雞肋的。但是總對(duì)于數(shù)據(jù)量巨大的項(xiàng)目，還是需要跑代碼吧，將就著用了。因?yàn)橘Y源有限，分配到超過(guò)1個(gè)gpu需要排隊(duì)，所以從來(lái)沒(méi)嘗試過(guò)使用多個(gè)gpu。最近由于數(shù)據(jù)量變大，也急于取得進(jìn)展，因此開(kāi)始嘗試分配多個(gè)gpu。使用的過(guò)程中出現(xiàn)的問(wèn)題，在此做個(gè)記錄。

首先，因?yàn)椴煌脚_(tái)的GPU Farm搭建的規(guī)則不一樣，如何分配到多個(gè)gpu在此就不做記錄了。不得不說(shuō)，學(xué)校的GPU Farm資源少的可憐，分配到2個(gè)gpu常常要排隊(duì)半小時(shí)。

以下羅列遇到的問(wèn)題。

torch.nn.DataParallel()

因?yàn)閷?duì)pytorch的理解還不夠深，因此為了提高速度，從官網(wǎng)上注意到DataParallel，據(jù)說(shuō)最簡(jiǎn)單的方法是直接用

model = torch.nn.DataParallel(model)
model.cuda()

來(lái)實(shí)現(xiàn)，但是萬(wàn)萬(wàn)沒(méi)想到它給我?guī)?lái)的時(shí)間浪費(fèi)還真不是一星半點(diǎn)。

首先我分配到了2個(gè)gpu設(shè)備，之后在我的代碼中只添加了如上的命令，而后便收到了如下報(bào)錯(cuò)

ValueError: only one element tensors can be converted to Python scalars

這個(gè)報(bào)錯(cuò)直指我的 loss.item()，通過(guò)debug我發(fā)現(xiàn)它的tensor dimension的確變成了2個(gè)elements。在做了更多無(wú)效debug和上網(wǎng)查閱之后，我鬼使神差地調(diào)整回了1個(gè)gpu想看看效果會(huì)不會(huì)不一樣，然后居然順利運(yùn)行了。

稍微思考一下，感覺(jué)倒是很合理。假設(shè)兩個(gè)gpu并行同時(shí)各自訓(xùn)練一個(gè)batch，那么得到的loss自然應(yīng)該是2個(gè)elements，淺顯地認(rèn)為將其看做兩個(gè)batch訓(xùn)練的loss結(jié)果就可以了。

目前手頭有比較急于出結(jié)果的數(shù)據(jù)集和項(xiàng)目，因此暫時(shí)沒(méi)有過(guò)多的時(shí)間去研究具體為什么會(huì)有這種情況的出現(xiàn)，不過(guò)這也證實(shí)了想要合理正確地運(yùn)用多個(gè)gpu同時(shí)作業(yè)，顯然不是那么簡(jiǎn)單地幾行代碼就能解決的。

以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。