exploding gradient problem
-
vanishing gradient problemin kardeşi olan bu problem de, aktivasyon fonksiyonların sonuçlarının backpropagation algoritmasında kullanılırken stabil sonuçlar üretmemesine dayanıyor.
kardeşinin aksine, gradient çarpanlarının zaman içerisinde büyüyerek, kullanılmaz hale gelmesi durumudur.
önüne geçmek için: (bkz: lstm) -
aktivasyon fonksiyonunun relu seçildiği, çok katmanlı feed forward mimarilerde, learning rate düzgün ayarlanmaz ise, gradyanın patlama olasılığı vardır, her hakkı saklıdır.
ekşi sözlük kullanıcılarıyla mesajlaşmak ve yazdıkları entry'leri
takip etmek için giriş yapmalısın.
hesabın var mı? giriş yap