relu

• deneyip gördüğüm kadarıyla yapay sinir ağlarında kullanılabilecek en uygun aktivasyon fonksiyonudur. diğer çoğu aktivasyon fonksiyonlarından farklı olarak ne kendisi ne de türevi eksponansiyel ifade içermediği için hızlıdır. hızlı olduğu için isabetinin düşük olabileceğini düşündüğüm için yedi farklı aktivasyon fonksiyonuyla aynı yapıyı test ettim, relu en isabetli sonucu buldu.
  
  test ortamı: c dili, 8x8 pixel resim, 64x128x5 nöronluk ağ, 100000 iterasyon. hazır kütüphane yok. diğer aktivasyon fonksiyonları, sigmoid, tanh, identity, atan, softplus ve swish. relu the best!