gradient descent

• stochastic, mini-batch, batch olmak üzere 3'e ayrılır. ilkinde her bir training data'sı üzerinden cost hesaplanır ve ona göre back propagation+update yapılır. sonuncusundaysa tüm training data'ları vektörize hâlde cost fonksiyonuna katkıda bulunur ve ona göre yapılır aynı işlem. mini-batch ise ikisinin arasında yani ne 1 ne de tüm data'lar üzerinden eğitim yapıyor.
  
  data sayısı azsa (2500'ten küçükse) direkt olarak batch yapmak mantıklı, hızdan kaybetmeden gürültüsüz (smooth) bir cost-iteration değişimine sahip olabilirsiniz. az değilse mini-batch önerilir çünkü çok sayıda data'dan oluşan vektörize işlem hızdan çok kaybediyor.