şükela:  tümü | bugün
  • arama motorlarının orumcek adı verilen ve nette dolasarak web sitelerini indeksleyen küçük programcıklarının okuması için belirli bir formatta hazırlanarak root'a yerleştirilmiş metin dosyası. *
  • ikide bir 404 hatası bildiren scriptim'den robots.txt'ye ulaşılamadı diye mail almaktan ve istatistiklerimde 404 hataları arasında robots.txt görmekten bıktım, hem robotlar sunucuma hiç de yük bindirmiyor diyorsanız. robots.txt diye bir metin dosyası oluşturup root dizininize döşeyiverin, içeriği şöyle olsun;

    # gel gel ne olursan yine de gel scripting aş. sunar...
    # site.com'un robotlara kucak açtığının göstergesidir.
    # bir sorununuz varsa lütfen mevlana@site.com'a mail atın.

    user-agent: *
    disallow:
  • google'in kendi robots.txt'si ise söyledir:

    user-agent: *
    allow: /searchhistory/
    disallow: /search
    disallow: /groups
    disallow: /images
    disallow: /catalogs
    disallow: /catalog_list
    disallow: /news
    disallow: /nwshp
    disallow: /?
    disallow: /addurl/image?
    disallow: /pagead/
    disallow: /relpage/
    disallow: /sorry/
    disallow: /imgres
    disallow: /keyword/
    disallow: /u/
    disallow: /univ/
    disallow: /cobrand
    disallow: /custom
    disallow: /advanced_group_search
    disallow: /advanced_search
    disallow: /googlesite
    disallow: /preferences
    disallow: /setprefs
    disallow: /swr
    disallow: /url
    disallow: /wml
    disallow: /hws
    disallow: /bsd?
    disallow: /linux?
    disallow: /mac?
    disallow: /microsoft?
    disallow: /unclesam?
    disallow: /answers/search?q=
    disallow: /local?
    disallow: /local_url
    disallow: /froogle?
    disallow: /froogle_
    disallow: /print?
    disallow: /scholar?
    disallow: /palm
    disallow: /complete
    disallow: /sponsoredlinks
    disallow: /videosearch?
    disallow: /videopreview?
    disallow: /videoprograminfo?
    disallow: /maps?
    disallow: /translate?
    disallow: /ie?

    http://www.google.com/robots.txt
  • sitelerinde arama motorlarından gizlemek istedikleri mahrem dizimlerini bunun içinde disallow tanımlayarak kamuoyundan gizlediğini zanneden arkadaşlar var ya işte onların mahremlerini bulmaya da yarayan bişeydir.

    (bkz: hadi beni bırak hani komşular?)
  • bir siteyi hackleyecek olsam ilk bakacağım şeydir bu. işgüzarlık edip içine neler neler yazılıyor. cms adresleri, framework dizinleri hatta yazılımcının kendine aldığı notlar. imkanı var mı o sayfaları linklemiyorsan arama motorlarının bulmasının. o zaman niye yazıyorsun? hatta bence oraya yazılanlar disallow olarak işaretlenmiş olsa bile arama motorları belki ilerde lazım olur diye gizliden kendi veritabanlarına kaydediyorlardır. eğer seo hakkında biraz bilginiz yoksa kullanmayın, başınıza dert olur.
  • (bkz: robotstxt)
  • google aramalarında engelleyeceğiniz bir link yoksa ekleme gerekliliği olmayan dosya.