web crawler

• arama motorları siz arama yapınca bulabilsin diye internette rastladığı tüm siteleri, sayfaları, içerikleri indeksleyen botlara verilen genel isim.
  
  bu botlar sürekli çalışırlar, sürekli bir yerleri gezerler, sürekli bir yerlerden data toplarlar. bu toplanan data indekslenir, düzgünce ulaşılabilir bir şekilde data warehouse larda saklanır. sonra da birisi arama yapınca indekslenmiş kayıtlar buralardan bulunup çıkarılır.
  
  aslında siz google'da arama yapınca tüm internette değil google'ın indekslerinde arama yapıyorsunuz gibi bir şey var yani.