校园春色亚洲色图_亚洲视频分类_中文字幕精品一区二区精品_麻豆一区区三区四区产品精品蜜桃

主頁 > 知識庫 > Pytorch訓練網絡過程中loss突然變為0的解決方案

Pytorch訓練網絡過程中loss突然變為0的解決方案

熱門標簽:唐山智能外呼系統一般多少錢 白銀外呼系統 海南400電話如何申請 哈爾濱ai外呼系統定制 陜西金融外呼系統 公司電話機器人 激戰2地圖標注 廣告地圖標注app 騰訊外呼線路

問題

// loss 突然變成0
python train.py -b=8
INFO: Using device cpu
INFO: Network:
        1 input channels
        7 output channels (classes)
        Bilinear upscaling
INFO: Creating dataset with 868 examples
INFO: Starting training:
        Epochs:          5
        Batch size:      8
        Learning rate:   0.001
        Training size:   782
        Validation size: 86
        Checkpoints:     True
        Device:          cpu
        Images scaling:  1
    
Epoch 1/5:  10%|██████████████▏                                                                                                                            | 80/782 [01:3313:21,  1.14s/img, loss (batch)=0.886I
NFO: Validation cross entropy: 1.86862473487854                                                                                                                                                                  
Epoch 1/5:  20%|███████████████████████████▊                                                                                                            | 160/782 [03:3411:51,  1.14s/img, loss (batch)=2.35e-7I
NFO: Validation cross entropy: 5.887489884504049e-10                                                                                                                                                             
Epoch 1/5:  31%|███████████████████████████████████████████▌                                                                                                  | 240/782 [05:4111:29,  1.27s/img, loss (batch)=0I
NFO: Validation cross entropy: 0.0                                                                                                                                                                               
Epoch 1/5:  41%|██████████████████████████████████████████████████████████                                                                                    | 320/782 [07:4909:16,  1.20s/img, loss (batch)=0I
NFO: Validation cross entropy: 0.0                                                                                                                                                                               
Epoch 1/5:  51%|████████████████████████████████████████████████████████████████████████▋                                                                     | 400/782 [09:5507:31,  1.18s/img, loss (batch)=0I
NFO: Validation cross entropy: 0.0                                                                                                                                                                               
Epoch 1/5:  61%|███████████████████████████████████████████████████████████████████████████████████████▏                                                      | 480/782 [12:0205:58,  1.19s/img, loss (batch)=0I
NFO: Validation cross entropy: 0.0                                                                                                                                                                               
Epoch 1/5:  72%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋                                        | 560/782 [14:0404:16,  1.15s/img, loss (batch)=0I
NFO: Validation cross entropy: 0.0                                                                                                                                                                               
Epoch 1/5:  82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                         | 640/782 [16:1102:49,  1.20s/img, loss (batch)=0I
NFO: Validation cross entropy: 0.0                                                                                                                                                                               
Epoch 1/5:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋           | 720/782 [18:2101:18,  1.26s/img, loss (batch)=0I
NFO: Validation cross entropy: 0.0                                                                                                                                                                               
Epoch 1/5:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 736/782 [19:1701:12,  1.57s/img, loss (batch)=0]
Traceback (most recent call last):
  File "train.py", line 182, in module>
    val_percent=args.val / 100)
  File "train.py", line 66, in train_net
    for batch in train_loader:
  File "/public/home/lidd/.conda/envs/lgg2/lib/python3.6/site-packages/torch/utils/data/dataloader.py", line 819, in __next__
    return self._process_data(data)
  File "/public/home/lidd/.conda/envs/lgg2/lib/python3.6/site-packages/torch/utils/data/dataloader.py", line 846, in _process_data
    data.reraise()
  File "/public/home/lidd/.conda/envs/lgg2/lib/python3.6/site-packages/torch/_utils.py", line 385, in reraise
    raise self.exc_type(msg)
RuntimeError: Caught RuntimeError in DataLoader worker process 4.
Original Traceback (most recent call last):
  File "/public/home/lidd/.conda/envs/lgg2/lib/python3.6/site-packages/torch/utils/data/_utils/worker.py", line 178, in _worker_loop
    data = fetcher.fetch(index)
  File "/public/home/lidd/.conda/envs/lgg2/lib/python3.6/site-packages/torch/utils/data/_utils/fetch.py", line 47, in fetch
    return self.collate_fn(data)
  File "/public/home/lidd/.conda/envs/lgg2/lib/python3.6/site-packages/torch/utils/data/_utils/collate.py", line 74, in default_collate
    return {key: default_collate([d[key] for d in batch]) for key in elem}
  File "/public/home/lidd/.conda/envs/lgg2/lib/python3.6/site-packages/torch/utils/data/_utils/collate.py", line 74, in dictcomp>
    return {key: default_collate([d[key] for d in batch]) for key in elem}
  File "/public/home/lidd/.conda/envs/lgg2/lib/python3.6/site-packages/torch/utils/data/_utils/collate.py", line 55, in default_collate
    return torch.stack(batch, 0, out=out)
RuntimeError: Expected object of scalar type Double but got scalar type Byte for sequence element 4 in sequence argument at position #1 'tensors'

交叉熵損失函數是衡量輸出與標簽之間的損失,通過求導確定梯度下降的方向。

loss突然變為0,有兩種可能性。

一是因為預測輸出為0,二是因為標簽為0。

如果是因為標簽為0,那么一開始loss就可能為0.

檢查參數初始化

檢查前向傳播的網絡

檢查loss的計算格式

檢查梯度下降

是否出現梯度消失。

實際上是標簽出了錯誤

補充:pytorch訓練出現loss=na

遇到一個很坑的情況,在pytorch訓練過程中出現loss=nan的情況

有以下幾種可能:

1.學習率太高。

2.loss函數有問題

3.對于回歸問題,可能出現了除0 的計算,加一個很小的余項可能可以解決

4.數據本身,是否存在Nan、inf,可以用np.isnan(),np.isinf()檢查一下input和target

5.target本身應該是能夠被loss函數計算的,比如sigmoid激活函數的target應該大于0,同樣的需要檢查數據集

以上為個人經驗,希望能給大家一個參考,也希望大家多多支持腳本之家。如有錯誤或未考慮完全的地方,望不吝賜教。

您可能感興趣的文章:
  • 解決Pytorch半精度浮點型網絡訓練的問題
  • PyTorch梯度裁剪避免訓練loss nan的操作
  • pytorch訓練神經網絡爆內存的解決方案
  • Pytorch訓練模型得到輸出后計算F1-Score 和AUC的操作
  • pytorch加載預訓練模型與自己模型不匹配的解決方案
  • pytorch 如何使用float64訓練

標簽:常德 鷹潭 黔西 四川 惠州 黑龍江 上海 益陽

巨人網絡通訊聲明:本文標題《Pytorch訓練網絡過程中loss突然變為0的解決方案》,本文關鍵詞  Pytorch,訓練,網絡,過程中,;如發現本文內容存在版權問題,煩請提供相關信息告之我們,我們將及時溝通與處理。本站內容系統采集于網絡,涉及言論、版權與本站無關。
  • 相關文章
  • 下面列出與本文章《Pytorch訓練網絡過程中loss突然變為0的解決方案》相關的同類信息!
  • 本頁收集關于Pytorch訓練網絡過程中loss突然變為0的解決方案的相關信息資訊供網民參考!
  • 推薦文章
    校园春色亚洲色图_亚洲视频分类_中文字幕精品一区二区精品_麻豆一区区三区四区产品精品蜜桃
    成人国产精品免费观看| 91丝袜高跟美女视频| 成人黄色免费短视频| 亚洲激情欧美激情| 精品一区免费av| 欧美成人精品1314www| 热久久国产精品| 日韩欧美三级在线| 成人午夜电影久久影院| 亚洲网友自拍偷拍| 欧美变态tickling挠脚心| 国产成人啪免费观看软件| 亚洲色图.com| 日韩一级视频免费观看在线| 国产精品影视网| 一区二区三区毛片| 国产亚洲欧洲997久久综合| 懂色av一区二区三区蜜臀| 亚洲六月丁香色婷婷综合久久 | 中文字幕一区二区三区蜜月| 成人一区二区三区| 视频一区视频二区中文字幕| 国产欧美一区二区精品忘忧草| 99久久国产综合精品麻豆 | 国产片一区二区| 91精品国产综合久久福利软件| 成人免费电影视频| 亚洲成人一二三| 久久久久亚洲蜜桃| 欧美三级视频在线播放| 麻豆91精品视频| 国产精品网友自拍| 欧美日韩国产大片| 91在线无精精品入口| 黑人精品欧美一区二区蜜桃| 中文字幕第一页久久| 在线观看亚洲专区| 国产69精品久久久久777| 日精品一区二区三区| 亚洲欧美日韩电影| 久久久99免费| 欧美成人性福生活免费看| 欧美久久一二区| 日本道在线观看一区二区| 91在线视频免费91| 91色九色蝌蚪| 色综合天天综合狠狠| 成人午夜激情视频| 国产99一区视频免费 | 欧日韩精品视频| 成人毛片在线观看| 国产在线精品一区二区| 精品综合久久久久久8888| 日韩精品五月天| 蜜臀99久久精品久久久久久软件| 午夜精品久久久久久不卡8050| 又紧又大又爽精品一区二区| 亚洲伊人色欲综合网| 亚洲成av人在线观看| 日韩专区欧美专区| 麻豆91小视频| 国产激情91久久精品导航| 成人在线综合网站| 色婷婷亚洲综合| 欧美精品久久天天躁| 日韩片之四级片| 久久久精品国产免大香伊 | 日韩国产一区二| 日本亚洲一区二区| 久久超碰97人人做人人爱| 国产精品一区二区免费不卡| 国产精品自拍av| 色综合婷婷久久| 日韩欧美在线1卡| 中国色在线观看另类| 一区二区三区四区在线播放| 日本aⅴ亚洲精品中文乱码| 国产米奇在线777精品观看| 99精品在线免费| 日韩欧美一级二级| 亚洲精品乱码久久久久久黑人| 免费成人av资源网| 成人av电影免费观看| 91精品国产综合久久久久久久| 国产亚洲人成网站| 三级在线观看一区二区| 粉嫩久久99精品久久久久久夜| 欧美在线免费观看视频| 日本一区二区免费在线观看视频| 亚洲一区二区综合| 国产呦萝稀缺另类资源| 色美美综合视频| 欧美国产亚洲另类动漫| 五月天视频一区| 99久久99久久精品免费看蜜桃| 日韩一区二区精品| 亚洲综合在线免费观看| 国产91露脸合集magnet| 日韩精品一区二区三区在线| 夜夜嗨av一区二区三区中文字幕| 国产激情偷乱视频一区二区三区| 欧美一区中文字幕| 亚洲va欧美va人人爽| 色狠狠av一区二区三区| 国产欧美一区视频| 激情综合色综合久久综合| 欧美日韩亚洲综合在线| 亚洲精品老司机| 91香蕉视频污| 久久久久国色av免费看影院| 奇米一区二区三区av| 91麻豆精品国产91久久久更新时间| 亚洲精品国产无天堂网2021| 成人高清免费观看| 国产欧美日韩三级| 国产成人午夜片在线观看高清观看| 日韩欧美高清一区| 日韩电影在线免费观看| 欧美日韩综合一区| 亚洲国产精品久久久久秋霞影院| 91小视频免费观看| 亚洲精品国产视频| 一本大道av一区二区在线播放| 国产精品女主播av| 99久久精品国产观看| 亚洲另类一区二区| 欧美日韩视频在线观看一区二区三区 | 久久99久久99精品免视看婷婷| 欧美三级在线视频| 香蕉久久夜色精品国产使用方法 | 精品污污网站免费看| 亚洲成国产人片在线观看| 欧美视频一区二区| 天天操天天色综合| 日韩一区二区免费在线电影| 久久av中文字幕片| 中文字幕精品一区| 色综合久久中文综合久久牛| 亚洲激情五月婷婷| 日韩一区二区在线看| 狠狠狠色丁香婷婷综合激情| 亚洲国产高清aⅴ视频| 99久久精品免费看| 五月天丁香久久| 2021国产精品久久精品| 波多野结衣亚洲| 亚洲五码中文字幕| 欧美mv日韩mv国产| 波多野结衣在线一区| 香港成人在线视频| 久久久五月婷婷| 欧美亚洲丝袜传媒另类| 麻豆91在线观看| 亚洲欧洲制服丝袜| 欧美大胆人体bbbb| 99麻豆久久久国产精品免费| 亚洲成av人片观看| 2021中文字幕一区亚洲| 色婷婷av一区| 久久国内精品自在自线400部| 国产精品日产欧美久久久久| 欧美日韩国产在线观看| 国产福利一区在线| 午夜欧美视频在线观看 | av激情综合网| 免费的成人av| 亚洲欧美日韩电影| 久久精品视频在线看| 欧美丝袜第三区| 本田岬高潮一区二区三区| 免费高清视频精品| 一区二区三区电影在线播| 久久久久99精品国产片| 欧美理论电影在线| 91首页免费视频| 国产精品91一区二区| 亚洲第一av色| 亚洲欧美国产三级| 国产欧美视频在线观看| 337p亚洲精品色噜噜| 在线观看一区不卡| 99久久夜色精品国产网站| 久久99精品国产.久久久久久| 亚洲成va人在线观看| 一区二区三区毛片| 亚洲男人的天堂网| 国产精品久久久久aaaa樱花| 久久嫩草精品久久久久| 欧美一二三区在线| 欧美一级生活片| 欧美日韩高清一区二区不卡| 91视频在线观看| 成人动漫一区二区在线| 国产一区二区剧情av在线| 美腿丝袜亚洲三区| 美女免费视频一区| 麻豆久久一区二区| 国产综合色产在线精品| 激情图片小说一区| 国产精品18久久久久久久久 |