hab da nen Mod gefunden!
da bindet man einfach ein txt File ins verzeichnis ein, und das sollte dann vor Robots schützen!
Nun ich hätte gerne mal eure Meinung dazu gehört!
Mod hab ich drangehängt!
Block Bad Robots - MOD
Forumsregeln
Auch wenn hier der Support für phpBB 2 weiterhin aufrecht erhalten bleibt, weisen wir darauf hin, dass das phpBB 2 nicht mehr offiziell unterstützt und weiterentwickelt wird!
Auch wenn hier der Support für phpBB 2 weiterhin aufrecht erhalten bleibt, weisen wir darauf hin, dass das phpBB 2 nicht mehr offiziell unterstützt und weiterentwickelt wird!
Hallo skittles,
naja, über die robots.txt ist das ganze nicht wirklich zuverlässig. Damit werden die Robots höflich gebeten, doch bitte den Server nicht zu spidern. Aber ein wirklicher Schutz ist das nicht.
Wenn du verhindern willst, dass Robots deine Seiten spidern, dann schau mal hier:
http://www.phpbb.de/topic54059.html
Gruß
mObbY
naja, über die robots.txt ist das ganze nicht wirklich zuverlässig. Damit werden die Robots höflich gebeten, doch bitte den Server nicht zu spidern. Aber ein wirklicher Schutz ist das nicht.
Wenn du verhindern willst, dass Robots deine Seiten spidern, dann schau mal hier:
http://www.phpbb.de/topic54059.html
Gruß
mObbY
Das soll was bringen?
Bei einer .htaccess hätt ich ja gesagt OK aber was bewirkt ne einfache Textdatei??????
Noch nie gehört das sowas etwas aufm Webspace bringen soll. Und robots.txt für Google oder so is ja OK da die Suchmaschine nach dieser Datei sucht, aber die feindlichen Bots werden wohl kaum diese Datei vorher auslesen die zerstören ja nur.
Bei einer .htaccess hätt ich ja gesagt OK aber was bewirkt ne einfache Textdatei??????
Noch nie gehört das sowas etwas aufm Webspace bringen soll. Und robots.txt für Google oder so is ja OK da die Suchmaschine nach dieser Datei sucht, aber die feindlichen Bots werden wohl kaum diese Datei vorher auslesen die zerstören ja nur.
-
oxpus
- Administrator
- Beiträge: 28735
- Registriert: Mo 27.Jan, 2003 22:13
- Wohnort: Bad Wildungen
- Kontaktdaten:
@cback
Doch, genau diese Datei lesen die meisten Bots zunächst aus, sofern vorhanden.
Darin kann man auch angeben, ob überhaupt nicht oder nur teilweise das spidern "erwünscht" wird.
Wie aber schon mObbY schrieb, ist das eben nur eine Bitte, an die sich ein Robot nicht halten muss, es aber eigentlich sollte.
Google setzt da auch unterschiedliche Bots ein. Die einen akzeptieren die Wünsche des Webmasters, die anderen ignorieren die robots.txt vollkommen und spidern munter drauf los.
Also auch von meiner Seite kann ich nur sagen:
Einen echten Schutz vor Spidern gibt es nicht. Die machen, was sie wollen. Leider.
Aber hilfreich gegen viele "seriöse" Bots ist es schon, also doch zu empfehlen.
Doch, genau diese Datei lesen die meisten Bots zunächst aus, sofern vorhanden.
Darin kann man auch angeben, ob überhaupt nicht oder nur teilweise das spidern "erwünscht" wird.
Wie aber schon mObbY schrieb, ist das eben nur eine Bitte, an die sich ein Robot nicht halten muss, es aber eigentlich sollte.
Google setzt da auch unterschiedliche Bots ein. Die einen akzeptieren die Wünsche des Webmasters, die anderen ignorieren die robots.txt vollkommen und spidern munter drauf los.
Also auch von meiner Seite kann ich nur sagen:
Einen echten Schutz vor Spidern gibt es nicht. Die machen, was sie wollen. Leider.
Aber hilfreich gegen viele "seriöse" Bots ist es schon, also doch zu empfehlen.
Karsten Ude
-={ Das Mädchen für alles }=-
Kein Support per Messenger, Email oder PN! Unaufgeforderte Nachrichten werden ignoriert!
No support per Messenger, Email or PM. Each unasked message will be ignored!
-={ Das Mädchen für alles }=-
Kein Support per Messenger, Email oder PN! Unaufgeforderte Nachrichten werden ignoriert!
No support per Messenger, Email or PM. Each unasked message will be ignored!
Also der von mObbY verlinkte Mod bzw. .htaccess eintrag hat bei mir jede menge Traffic-ersparnis gebracht und vorallem die unnötige Boardbelastung dieser Mistfliegen beseitigt!
Und was die robots.txt anbetrifft. Wenn ich mir anschaue was Google und msn bei mir so treiben (siehe anderen Thread) dann wird mir echt schlecht. meine robots.txt und Meta einträge werden von den beiden munter ignoriert.
Und was die robots.txt anbetrifft. Wenn ich mir anschaue was Google und msn bei mir so treiben (siehe anderen Thread) dann wird mir echt schlecht. meine robots.txt und Meta einträge werden von den beiden munter ignoriert.
[center].: Web Relax .::. Essen mit Freude .::. AmigaLink.de :.
______________________________________
Kein Support per PM, ICQ oder eMail!!![/center]
______________________________________
Kein Support per PM, ICQ oder eMail!!![/center]
Meinte ich ja damit:@cback
Doch, genau diese Datei lesen die meisten Bots zunächst aus, sofern vorhanden.
Also die feindlichen werden die möglicherweise nich auslesen :-DUnd robots.txt für Google oder so is ja OK da die Suchmaschine nach dieser Datei sucht, aber die feindlichen Bots werden wohl kaum diese Datei vorher auslesen die zerstören ja nur.