Ignoriert auch Google robots.txt?
Verfasst: Mi 05.Mär, 2008 13:59
Ich habe in meiner robots.txt folgende Einträge:
Gruss
Holger
Trotzdem sehe ich meinen Logs und Fehlermeldungsemails, dass ein GoogleBotCrawler sich an der modcp.php zu schaffen macht und nur mit einem Invalid Session zurückgewiesen wurde.User-agent: *
Disallow: /admin/
Disallow: /db/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /templates/
Disallow: /shoppen/
Disallow: /vykort/
Disallow: /config.php
Disallow: /profile.php
Disallow: /groupcp.php
Disallow: /memberlist.php
Disallow: /modcp.php
Disallow: /posting.php
Disallow: /privmsg.php
Disallow: /viewonline.php
Disallow: /viewtopic.php
Disallow: /faq.php
Disallow: /downloads.php
Disallow: /download.php
Disallow: /linkdb.php
Disallow: /adverts.php
Disallow: /album.php
Gruss
Holger