*

şükela:  tümü | bugün
  • herhangi bir "disallow:" aparati bulundurmayan.. bu baglamda her tür web crawler'a izin veren.. fekat kimi botlara "yava$in agalar!" diyen.. bugunlerde bu$tluk sponsoru almi$ olan.. ahanda $öyle bir $eydir:

    - - -
    # robot $eysi - copyright (c) 2005 george w. bush

    user-agent: slurp
    crawl-delay: 10

    user-agent: msnbot
    crawl-delay: 10
    - - -

    http://sozluk.sourtimes.org/robots.txt
    (bkz: robots.txt)
  • an itibariyle a$ağıdaki gibidir:

    # robot $eysi - copyright (c) 2005 george w. bush

    user-agent: *
    crawl-delay: 30

    user-agent: googlebot
    crawl-delay: 5

    user-agent: gigabot
    crawl-delay: 30

    user-agent: slurp
    crawl-delay: 30

    user-agent: msnbot
    crawl-delay: 30

    user-agent: mj12bot
    crawl-delay: 30
  • şu sıralar allah ne verdiyse seçeneğinde takılıyor galiba;

    # robot $eysi - copyright (c) 2005 george w. bush

    user-agent: *
    speed: yardirin
  • son hali aşağıdaki şekildedir. artık "disallow:" da bulunduruyor, ancak bundan daha ilginç olarak kafalarda /adriana/'nın ne ayak olduğu sorusunu yaratmıştır. ssg "adriana benimdir, benden başkası dokunamaz!" mesajı mı vermek istemektedir? (bkz: adriana lima)

    # robot $eysi - copyright (c) 2005 george w. bush

    user-agent: *
    disallow: /adriana/
    disallow: /top.asp
    disallow: /index.asp
    allow: /
    sitemap: http://sozluk.sourtimes.org/sitemap.xml
    crawl-delay: 1
  • an itibariyle aşağıdaki şekli alan "robot şeysidir".

    # robot $eysi - copyright (c) 2005 george w. bush

    user-agent: exabot
    crawl-delay: 30

    user-agent: *
    disallow: /adriana/
    allow: /
    sitemap: http://sozluk.sourtimes.org/sitemap.xml
    crawl-delay: 1

    görüldüğü gibi ssg adriana'sını hala kimseciklerle paylaşmamaktadır.

    edit: bu kimsecikler içerisine bende dahilmişim. (bkz: http://sozluk.sourtimes.org/adriana/) adresine ulaşmaya çalıştığımda aşağıdaki uyarıyı elime verip yolladılar.

    server error

    403 - forbidden: access is denied.
    you do not have permission to view this directory or page using the credentials that you supplied.
  • son hali şu şekildedir:

    # robot $eysi - copyright (c) 2005 george w. bush

    user-agent: *
    disallow: /adriana/
    disallow: /share.asp
    disallow: /slice.asp
    allow: /
    sitemap: http://www.eksisozluk.com/sitemap.xml

    ancak adriana artık forbidden değil, 404 vermektedir. anlaşılan ssg ile araları bozuldu ve ssg adriana'yı uçurdu.
  • an itibariyle içeriği şu şekilde olan dosya:

    # robot $eysi - copyright (c) 2005 george w. bush

    user-agent: *
    disallow: /adriana/
    disallow: /share.asp
    disallow: /slice.asp
    disallow: /report.asp
    allow: /
    sitemap: http://www.eksisozluk.com/sitemap.xml
  • bir update de benden:

    user-agent: *
    sitemap: https://eksisozluk.com/sitemap.xml
    allow: /
    disallow: /video/*

    user-agent: yandexbot
    crawl-delay: 1

    user-agent: mediapartners-google
    disallow:

    user-agent: microsoft url control
    disallow: /