sözlüğün robots.txt dosyası
-
herhangi bir "disallow:" aparati bulundurmayan.. bu baglamda her tür web crawler'a izin veren.. fekat kimi botlara "yava$in agalar!" diyen.. bugunlerde bu$tluk sponsoru almi$ olan.. ahanda $öyle bir $eydir:
- - -
# robot $eysi - copyright (c) 2005 george w. bush
user-agent: slurp
crawl-delay: 10
user-agent: msnbot
crawl-delay: 10
- - -
http://sozluk.sourtimes.org/robots.txt
(bkz: robots.txt)
ekşi sözlük kullanıcılarıyla mesajlaşmak ve yazdıkları entry'leri
takip etmek için giriş yapmalısın.
hesabın var mı? giriş yap