robots.txt
-
arama motorlarının orumcek adı verilen ve nette dolasarak web sitelerini indeksleyen küçük programcıklarının okuması için belirli bir formatta hazırlanarak root'a yerleştirilmiş metin dosyası. *
-
ikide bir 404 hatası bildiren scriptim'den robots.txt'ye ulaşılamadı diye mail almaktan ve istatistiklerimde 404 hataları arasında robots.txt görmekten bıktım, hem robotlar sunucuma hiç de yük bindirmiyor diyorsanız. robots.txt diye bir metin dosyası oluşturup root dizininize döşeyiverin, içeriği şöyle olsun;
# gel gel ne olursan yine de gel scripting aş. sunar...
# site.com'un robotlara kucak açtığının göstergesidir.
# bir sorununuz varsa lütfen mevlana@site.com'a mail atın.
user-agent: *
disallow: -
google'in kendi robots.txt'si ise söyledir:
user-agent: *
allow: /searchhistory/
disallow: /search
disallow: /groups
disallow: /images
disallow: /catalogs
disallow: /catalog_list
disallow: /news
disallow: /nwshp
disallow: /?
disallow: /addurl/image?
disallow: /pagead/
disallow: /relpage/
disallow: /sorry/
disallow: /imgres
disallow: /keyword/
disallow: /u/
disallow: /univ/
disallow: /cobrand
disallow: /custom
disallow: /advanced_group_search
disallow: /advanced_search
disallow: /googlesite
disallow: /preferences
disallow: /setprefs
disallow: /swr
disallow: /url
disallow: /wml
disallow: /hws
disallow: /bsd?
disallow: /linux?
disallow: /mac?
disallow: /microsoft?
disallow: /unclesam?
disallow: /answers/search?q=
disallow: /local?
disallow: /local_url
disallow: /froogle?
disallow: /froogle_
disallow: /print?
disallow: /scholar?
disallow: /palm
disallow: /complete
disallow: /sponsoredlinks
disallow: /videosearch?
disallow: /videopreview?
disallow: /videoprograminfo?
disallow: /maps?
disallow: /translate?
disallow: /ie?
http://www.google.com/robots.txt -
(bkz: sozlugun robots.txt dosyasi)
-
[http://www.robotstxt.org/norobots-rfc.txt http://www.robotstxt.org/norobots-rfc.txt]
[http://en.wikipedia.org/wiki/robots.txt http://en.wikipedia.org/wiki/robots.txt] -
sitelerinde arama motorlarından gizlemek istedikleri mahrem dizimlerini bunun içinde disallow tanımlayarak kamuoyundan gizlediğini zanneden arkadaşlar var ya işte onların mahremlerini bulmaya da yarayan bişeydir.
(bkz: hadi beni bırak hani komşular?) -
(bkz: robotstxt)
-
-
(bkz: humans.txt)
-
archive.orgu engellemesinden nefret ettiğim hede
ekşi sözlük kullanıcılarıyla mesajlaşmak ve yazdıkları entry'leri
takip etmek için giriş yapmalısın.
hesabın var mı? giriş yap