relu

• ks. rectified linear unit
  
  f(x) = max(0, x) biçiminde tanımlı, doğrultucu^* vazifesindeki rampa fonksiyonu. yapay sinir ağlarında^*, perceptron'lar için aktivasyon fonksiyonu olarak uygulama alanı bulmaktadır. özellikle derin sinir ağlarının^* eğitiminde yaygın kullanılan bir aktivasyon fonksiyonu olan sigmoid function'ın yerine, çok katmanlı mimarilerde bu fonksiyonun kullanılması daha uygun olabilmektedir. zira relu ile vanishing gradient problem olasılığı asgariye indirgenirken, her katmandan elde edilen çıktının daha ayrık^* olması sağlanabilmektedir. ayrıca fonksiyon daha hızlı yakınsadığı için, öğrenme aşaması da hızlıdır.
  
  - standard relu (relu)
  - leaky relu (lrelu)
  - parametric relu (prelu)
  - randomized leaky relu (rrelu)
  
  gibi varyasyonları mevcuttur.
  
  problemin türüne bağlı olmakla birlikte, giriş vektörüne batch normalization uyguladıktan sonra relu'ya sokmak iyi bir pratik olarak kabul görmektedir.
• deneyip gördüğüm kadarıyla yapay sinir ağlarında kullanılabilecek en uygun aktivasyon fonksiyonudur. diğer çoğu aktivasyon fonksiyonlarından farklı olarak ne kendisi ne de türevi eksponansiyel ifade içermediği için hızlıdır. hızlı olduğu için isabetinin düşük olabileceğini düşündüğüm için yedi farklı aktivasyon fonksiyonuyla aynı yapıyı test ettim, relu en isabetli sonucu buldu.
  
  test ortamı: c dili, 8x8 pixel resim, 64x128x5 nöronluk ağ, 100000 iterasyon. hazır kütüphane yok. diğer aktivasyon fonksiyonları, sigmoid, tanh, identity, atan, softplus ve swish. relu the best!
• tesla'nın yeni ml işlemcisinde kendisi kullanılmaktadır.
• leaky versiyonu negatifleri yok saymadığı için daha iyi sonuçlar sağlayabilir. görüntü işleme alanında en iyi performanslı modellerden biri olan yolov5 algoritması leaky relu ve sigmoid kullanır.
  
  leaky relu'da bir sızıntı değer belirlemek gerekir ki bu genellikle 0.01 diyeceğimiz bir sayı değildir. sızıntı değeri alpha olarak geçer.
  
  görüntü tanıma amaçlı modellerde 0,01 ile 0,05 arasında bir alpha değeri olabilirken nlp görevi için 0,05 - 0,1 arasınds bir değer alabilir.
  
  grid search (deneme yanılma) ile optimum sızıntı bulunabilir. random search metodu ile de rastgele sayılar verilip en iyi performanslı değer bulunabilmektedir.
• bir de sızıntı( leaky) hali vardır ve sızıntı değeri genelde 0.01’dir. bu değerden başka bir değer aldığında random leaky relu diye başka bir fonksiyona dönüşür. leaky relu’da relu’nun aksine öğrenme negatif değerler için de sağlanır.