learning rate

• makine öğrenimindeki öğrenme hızı veya adım büyüklüğü olarak adlandırılır.
  learning rate büyük olursa minimum olan nokraya ulaşılamaz, çok küçük olursa da model çok yavaş öğrenir.
  * deneme yapılarak en optimum learning rate verilmesi tavsiye edilir.
• yapay zeka yöntemlerinde özellikle derin öğrenme metodolojilerinde modelin öğrenme performansını ölçmek için kullanılan önemli bir değerdir.
  
  derin öğrenmede parametrelerin güncellenmesi geriyeyayılım işlemi ile yapılmaktadır. geriyayılım işleminde bu güncelleme işi “chain rule” olarak adlandırılan geriye doğru türev alarak farkın bulunması ve bulunan fark değerinin “learning rate” parametresiyle çarpılması, çıkan sonucun ağırlık değerlerinden çıkarılarak yeni ağırlık değerinin hesaplanmasıyla yapılmaktadır. bu işlem esnasında kullanılan “learning rate” parametresi sabit değer olarak belirlenebilir, ya da adım adım artan bir değer olarak da belirlenebilir (örneğin belli bir öğrenme adımına kadar 0.001 o adımdan sonra 0.01 gibi), momentum değerine bağlı olarak belirlenebilir ya da adaptif algoritmalar tarafından öğrenme esnasında öğrenilebilir.
  
  tanım : (bkz: derin öğrenme, neural network)
• gradient descent algoritmalarinin bir sonraki adimi belirlemek icin gradient degerini carptigi katsayidir.
• learning rate'in belirlenmesinde, konvansiyonel bir biçimde pratikte uygulanan: lr = {0.1, 0.01, 0.001, 0.0001, ... } gibi üstel azalış gösteren değerlerden biri ile initialize etmektir. daha sonra maliyet fonksiyonu çıktısına ve yakınsama^* durumuna/hızına (iterasyon sayısına) bakılarak uygun bir değerde karar kılınır. büyük bir değer seçilmişse, algoritma^* local/global optimumu pas geçerek, uzak bir noktaya yakınsayabilir. küçük bir değer seçilmişse, fonksiyonun optimum noktaya erişmesi zaman alır (iterasyon sayısı artar, dolayısıyla öğrenme hızı yavaştır) ve local optimum'a takılma riski de mevcuttur. "optimum learning rate" değerini yakalayabilmek için, loss function - learning rate grafiği çizildiğinde, kabaca kayıp fonksiyonundaki en hızlı düşüşe karşılık gelen noktadaki değer seçilebilir. öte yandan, eğitim aşamasında lr'nin belirli bir çizelgelemeye^* göre (decay/momentum) değiştirildiği yahut problem spesifik bir biçimde adaptif olarak belirlendiği (bkz: adaptive control) yaklaşımlar da uygulanmaktadır.
  
  yapay sinir ağlarının^* eğitiminde -bilhassa çok katmanlı derin mimarilerde^*- sabit bir learning rate atamak yerine belirli bir güven aralığı içinde kalan spesifik bazı değerlerin (bu aralığa map eden bir pencere fonksiyonu^* üzerinden), öğrenme aşamasında döngüsel bir biçimde kullanılması tekniği de uygulanmaktadır. nitekim bu basit yaklaşım ile eğitim süresinin azaltılabildiği ve sınıflandırma doğruluğunun, dolayısıyla model başarımının da arttırılabildiği görülmüştür. ilgili makaleye şuradan erişilebilir.