sözlüğün robots.txt dosyası

• an itibariyle aşağıdaki şekli alan "robot şeysidir".
  
  # robot $eysi - copyright (c) 2005 george w. bush
  
  user-agent: exabot
  crawl-delay: 30
  
  user-agent: *
  disallow: /adriana/
  allow: /
  sitemap: http://sozluk.sourtimes.org/sitemap.xml
  crawl-delay: 1
  
  görüldüğü gibi ssg adriana'sını hala kimseciklerle paylaşmamaktadır.
  
  edit: bu kimsecikler içerisine bende dahilmişim. (bkz: http://sozluk.sourtimes.org/adriana/) adresine ulaşmaya çalıştığımda aşağıdaki uyarıyı elime verip yolladılar.
  
  server error
  
  403 - forbidden: access is denied.
  you do not have permission to view this directory or page using the credentials that you supplied.
• son hali şu şekildedir:
  
  # robot $eysi - copyright (c) 2005 george w. bush
  
  user-agent: *
  disallow: /adriana/
  disallow: /share.asp
  disallow: /slice.asp
  allow: /
  sitemap: http://www.eksisozluk.com/sitemap.xml
  
  ancak adriana artık forbidden değil, 404 vermektedir. anlaşılan ssg ile araları bozuldu ve ssg adriana'yı uçurdu.
• son hali aşağıdaki şekildedir. artık "disallow:" da bulunduruyor, ancak bundan daha ilginç olarak kafalarda /adriana/'nın ne ayak olduğu sorusunu yaratmıştır. ssg "adriana benimdir, benden başkası dokunamaz!" mesajı mı vermek istemektedir? (bkz: adriana lima)
  
  # robot $eysi - copyright (c) 2005 george w. bush
  
  user-agent: *
  disallow: /adriana/
  disallow: /top.asp
  disallow: /index.asp
  allow: /
  sitemap: http://sozluk.sourtimes.org/sitemap.xml
  crawl-delay: 1
• herhangi bir "disallow:" aparati bulundurmayan.. bu baglamda her tür web crawler'a izin veren.. fekat kimi botlara "yava$in agalar!" diyen.. bugunlerde bu$tluk sponsoru almi$ olan.. ahanda $öyle bir $eydir:
  
  - - -
  # robot $eysi - copyright (c) 2005 george w. bush
  
  user-agent: slurp
  crawl-delay: 10
  
  user-agent: msnbot
  crawl-delay: 10
  - - -
  
  http://sozluk.sourtimes.org/robots.txt
  (bkz: robots.txt)
• chatgpt'ye erişim için izin vermiyor.
  
  user-agent: *
  sitemap: https://eksisozluk111.com/sitemap.xml
  allow: /
  disallow: /video/*
  
  user-agent: mediapartners-google
  disallow:
  
  user-agent: microsoft url control
  disallow: /
  
  user-agent: grapeshot
  disallow:
  
  user-agent: gptbot
  disallow: /
• bir update de benden:
  
  user-agent: *
  sitemap: https://eksisozluk.com/sitemap.xml
  allow: /
  disallow: /video/*
  
  user-agent: yandexbot
  crawl-delay: 1
  
  user-agent: mediapartners-google
  disallow:
  
  user-agent: microsoft url control
  disallow: /
• an itibariyle a$ağıdaki gibidir:
  
  # robot $eysi - copyright (c) 2005 george w. bush
  
  user-agent: *
  crawl-delay: 30
  
  user-agent: googlebot
  crawl-delay: 5
  
  user-agent: gigabot
  crawl-delay: 30
  
  user-agent: slurp
  crawl-delay: 30
  
  user-agent: msnbot
  crawl-delay: 30
  
  user-agent: mj12bot
  crawl-delay: 30
• şu sıralar allah ne verdiyse seçeneğinde takılıyor galiba;
  
  # robot $eysi - copyright (c) 2005 george w. bush
  
  user-agent: *
  speed: yardirin
• an itibariyle içeriği şu şekilde olan dosya:
  
  # robot $eysi - copyright (c) 2005 george w. bush
  
  user-agent: *
  disallow: /adriana/
  disallow: /share.asp
  disallow: /slice.asp
  disallow: /report.asp
  allow: /
  sitemap: http://www.eksisozluk.com/sitemap.xml