Hi,
kann man fuer die Bot's nicht die ROBOTS.TXT vergewaltigen ?
Ich hatte mal vor langem explizit die MSN-Bots eingetragen, die bei mir pro Taag irgendwas um die 2GB runtergeladen haben... :-(
Jedenfalls habe ich dann etwas mit dem Crawl-Delay: 299 rumgespielt - das funktionierte auch. Nur ...
Die Suche ergab 1 Treffer
- Sa 01.Okt, 2005 00:30
- Forum: Sicherheit
- Thema: Google Besuche (186mal)
- Antworten: 37
- Zugriffe: 11566