şükela:  tümü | bugün
  • ks. rectified linear unit

    f(x) = max(0, x) biçiminde tanımlı, doğrultucu* vazifesindeki rampa fonksiyonu. yapay sinir ağlarında*, perceptron'lar için aktivasyon fonksiyonu olarak uygulama alanı bulmaktadır. özellikle derin sinir ağlarının* eğitiminde yaygın kullanılan bir aktivasyon fonksiyonu olan sigmoid function'ın yerine, çok katmanlı mimarilerde bu fonksiyonun kullanılması daha uygun olabilmektedir. zira relu ile vanishing gradient problem olasılığı asgariye indirgenirken, her katmandan elde edilen çıktının daha ayrık* olması sağlanabilmektedir. ayrıca fonksiyon daha hızlı yakınsadığı için, öğrenme aşaması da hızlıdır.

    - standard relu (relu)
    - leaky relu (lrelu)
    - parametric relu (prelu)
    - randomized leaky relu (rrelu)

    gibi varyasyonları mevcuttur.

    problemin türüne bağlı olmakla birlikte, giriş vektörüne batch normalization uyguladıktan sonra relu'ya sokmak iyi bir pratik olarak kabul görmektedir.