Server4You - häufiges Rebooten

Windows 1 über 9x bis hin zu Vista, 7, 8, 10 und 11 sowie zukünftige Systeme
Unix / Linux in allen Derivaten und Varianten
Holger
Beiträge: 2253
Registriert: Mi 17.Mär, 2004 18:09

Beitrag von Holger »

Naja, neee, ich will ja schon in den Suchmaschinen präsent sein.
Habe aber trotzdem die Datei erweitert:

Code: Alles auswählen

User-agent: *
Disallow: /admin/
Disallow: /db/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /templates/
Disallow: /shoppen/
Disallow: /vykort/
Disallow: /config.php
Disallow: /profile.php
Disallow: /groupcp.php
Disallow: /memberlist.php
Disallow: /modcp.php
Disallow: /posting.php
Disallow: /privmsg.php
Disallow: /viewonline.php
Disallow: /faq.php
Disallow: /downloads.php
Disallow: /download.php
Disallow: /linkdb.php
Disallow: /adverts.php
Disallow: /album.php
Real men don’t back up, they learn data recovery. ;-)
http://www.mysqldumper.de
http://www.mysqldumper.se
Benutzeravatar
oxpus
Administrator
Beiträge: 28737
Registriert: Mo 27.Jan, 2003 22:13
Wohnort: Bad Wildungen
Kontaktdaten:

Beitrag von oxpus »

Die viewtopic.php zieht die meiste Performance vom Server ab und ist daher bei vielen Bots ein echter Hemmschuh.
Also sollte der lahme Server hiermit zusammenhängen, must Du damit leben oder eben Gegenmaßnahmen ergreifen.
Eine zeitliche Beschränkung ist hier IMO nicht möglich, also ganz oder gar nicht.
Karsten Ude
-={ Das Mädchen für alles }=-
Kein Support per Messenger, Email oder PN! Unaufgeforderte Nachrichten werden ignoriert!
No support per Messenger, Email or PM. Each unasked message will be ignored!
Holger
Beiträge: 2253
Registriert: Mi 17.Mär, 2004 18:09

Beitrag von Holger »

Klar, ich kann es mal einfügen und schauen, ob es das Problem löst! Das stimmt.
Real men don’t back up, they learn data recovery. ;-)
http://www.mysqldumper.de
http://www.mysqldumper.se
Holger
Beiträge: 2253
Registriert: Mi 17.Mär, 2004 18:09

Beitrag von Holger »

Also, es scheint mir so zu sein, als hätten die Bots das Problem ausgelöst.
Mit dem robots.txt (mit Disallow: /viewtopic.php) läuft der Server rund und schnell.
Ich sehe aber im ACP dass die IP 66.xxx.xxx.xxx (Googlebot) gerade ca 40 Gast-Instanzen bei uns geöffnet hat. Er kommt nur nicht weiter als bis viewforum.php.

Muss weiter beobachtet werden!

Gruss
Holger
Real men don’t back up, they learn data recovery. ;-)
http://www.mysqldumper.de
http://www.mysqldumper.se
Benutzeravatar
oxpus
Administrator
Beiträge: 28737
Registriert: Mo 27.Jan, 2003 22:13
Wohnort: Bad Wildungen
Kontaktdaten:

Beitrag von oxpus »

Na, wer sagts denn: Einträge in den Suchmaschinen haben eben ihren Preis ;)
Ich habe da eben auch eher lieber einen stabilen Rechner, als einen Top-Eintrag bei Google & Co. :D
Karsten Ude
-={ Das Mädchen für alles }=-
Kein Support per Messenger, Email oder PN! Unaufgeforderte Nachrichten werden ignoriert!
No support per Messenger, Email or PM. Each unasked message will be ignored!
Holger
Beiträge: 2253
Registriert: Mi 17.Mär, 2004 18:09

Beitrag von Holger »

Unglaublich.
Kann wirklich sein, dass es daran gelegen hat.
Ich habe meinen Augen nicht getraut, als ich die Liste im ACP gesehen habe.
Real men don’t back up, they learn data recovery. ;-)
http://www.mysqldumper.de
http://www.mysqldumper.se
Benutzeravatar
oxpus
Administrator
Beiträge: 28737
Registriert: Mo 27.Jan, 2003 22:13
Wohnort: Bad Wildungen
Kontaktdaten:

Beitrag von oxpus »

Tja und alles schreit eben nach mehr Präsenz.
Wer berühmt sein will, muss eben immer dafür zahlen ;)

Im Ernst:
Das ist eben der Nachteil, wenn man sich spidern lässt.
Warum allerdings die Bots so in Massen auftreten ist mir zwar schleierhaft, aber das Problem scheint wohl keiner der SuMa's in den Griff zu bekommen.
Auch der IAArchiver (Internet Archiv Dienst) ist recht aggressiv und ich habe den auch mal zeitweilig sperren müssen (Macht der Ctracker Tracker bereits automatisch).
Karsten Ude
-={ Das Mädchen für alles }=-
Kein Support per Messenger, Email oder PN! Unaufgeforderte Nachrichten werden ignoriert!
No support per Messenger, Email or PM. Each unasked message will be ignored!
Holger
Beiträge: 2253
Registriert: Mi 17.Mär, 2004 18:09

Beitrag von Holger »

Weitere Fragen in diese Richtung: hilft es einen schnelleren Server mit mehr RAM zu haben?
Real men don’t back up, they learn data recovery. ;-)
http://www.mysqldumper.de
http://www.mysqldumper.se
Benutzeravatar
oxpus
Administrator
Beiträge: 28737
Registriert: Mo 27.Jan, 2003 22:13
Wohnort: Bad Wildungen
Kontaktdaten:

Beitrag von oxpus »

Nein, denn das bekämpft nur die Symptome für eine kurze Zeit, nicht aber die Ursache. Und kostet daher unnötig mehr Geld...
Karsten Ude
-={ Das Mädchen für alles }=-
Kein Support per Messenger, Email oder PN! Unaufgeforderte Nachrichten werden ignoriert!
No support per Messenger, Email or PM. Each unasked message will be ignored!
Holger
Beiträge: 2253
Registriert: Mi 17.Mär, 2004 18:09

Beitrag von Holger »

Ich finde es etwas bedenklich, dass ich fast keine RAM-Ressourcen mehr habe:
796.8 MB of 987.8 MB used; 191.0 MB available
Oder ist das auch normal?
Real men don’t back up, they learn data recovery. ;-)
http://www.mysqldumper.de
http://www.mysqldumper.se
Holger
Beiträge: 2253
Registriert: Mi 17.Mär, 2004 18:09

Beitrag von Holger »

Ach, übrigens: ich habe eingestellt

Mail to nonexistent user: Reject.

Ein Forward wäre also besser?
Real men don’t back up, they learn data recovery. ;-)
http://www.mysqldumper.de
http://www.mysqldumper.se
Benutzeravatar
oxpus
Administrator
Beiträge: 28737
Registriert: Mo 27.Jan, 2003 22:13
Wohnort: Bad Wildungen
Kontaktdaten:

Beitrag von oxpus »

Reject bedeutet ja zurückweisen. Das ist zwar auch eine schnelle Methode, aber damit siehst Du keine Mail mehr, die versehentlich nur an den falsch geschriebenen Empfänger ging.

Und die Speicherauslastung ist eindeutig zu hoch.
Okay, wenn Spammails und Bots aufschlagen, ist immer zu wenig RAM da, aber weniger als 500 MB sind zumindest dauerhaft nicht okay.
Karsten Ude
-={ Das Mädchen für alles }=-
Kein Support per Messenger, Email oder PN! Unaufgeforderte Nachrichten werden ignoriert!
No support per Messenger, Email or PM. Each unasked message will be ignored!
Holger
Beiträge: 2253
Registriert: Mi 17.Mär, 2004 18:09

Beitrag von Holger »

Komisch, ich glaube ich habe immer über 500MB in Benutzung! :-(

Was mich nur irritiert: wenn es Spams sind, oder Bots, dann würde der Server nach einem Reboot ja auch sofort wieder unter dauerfeuer stehen. Nach einem Reboot habe ich aber mindestens 18-24 Stunden Ruhe!
Real men don’t back up, they learn data recovery. ;-)
http://www.mysqldumper.de
http://www.mysqldumper.se
Benutzeravatar
oxpus
Administrator
Beiträge: 28737
Registriert: Mo 27.Jan, 2003 22:13
Wohnort: Bad Wildungen
Kontaktdaten:

Beitrag von oxpus »

Es ist ja auch bei den "Spamhochburgen", also Amerika und Asien, dann erst Tag ;)
Karsten Ude
-={ Das Mädchen für alles }=-
Kein Support per Messenger, Email oder PN! Unaufgeforderte Nachrichten werden ignoriert!
No support per Messenger, Email or PM. Each unasked message will be ignored!
Holger
Beiträge: 2253
Registriert: Mi 17.Mär, 2004 18:09

Beitrag von Holger »

Naja, Spams scheinen es nicht zu sein.
Ich habe alles (unvorsichtigerweise) auf mein normales Postfach umgeleitet, es ist eigentlich nichts aussergewöhnliches angekommen.
Real men don’t back up, they learn data recovery. ;-)
http://www.mysqldumper.de
http://www.mysqldumper.se
Benutzeravatar
oxpus
Administrator
Beiträge: 28737
Registriert: Mo 27.Jan, 2003 22:13
Wohnort: Bad Wildungen
Kontaktdaten:

Beitrag von oxpus »

Dann wohl die Bots.
Also ausklammern, um einen stabilen Server zu haben oder damit leben...
Karsten Ude
-={ Das Mädchen für alles }=-
Kein Support per Messenger, Email oder PN! Unaufgeforderte Nachrichten werden ignoriert!
No support per Messenger, Email or PM. Each unasked message will be ignored!
Holger
Beiträge: 2253
Registriert: Mi 17.Mär, 2004 18:09

Beitrag von Holger »

Hm, ich habe sie ja ausgeklammert (noch nicht ganz, aber ziemlich). Du meinst, also noch härter ausklammern?
Real men don’t back up, they learn data recovery. ;-)
http://www.mysqldumper.de
http://www.mysqldumper.se
Benutzeravatar
oxpus
Administrator
Beiträge: 28737
Registriert: Mo 27.Jan, 2003 22:13
Wohnort: Bad Wildungen
Kontaktdaten:

Beitrag von oxpus »

Du hast mit der robots.txt Bereiche des Forums ausgeklammert, an diese Vorgabe muss sich ein Bot aber nicht halten!
Besser, die IP-Adressen der Bots in einer .htaccess sperren, damit diese erst gar nicht zum Forum durchdringen.
Karsten Ude
-={ Das Mädchen für alles }=-
Kein Support per Messenger, Email oder PN! Unaufgeforderte Nachrichten werden ignoriert!
No support per Messenger, Email or PM. Each unasked message will be ignored!
Holger
Beiträge: 2253
Registriert: Mi 17.Mär, 2004 18:09

Beitrag von Holger »

Aha!
Und wo bekommt man diese IP-Adressen her?
Gibt es irgendwo eine Liste?
Real men don’t back up, they learn data recovery. ;-)
http://www.mysqldumper.de
http://www.mysqldumper.se
Benutzeravatar
oxpus
Administrator
Beiträge: 28737
Registriert: Mo 27.Jan, 2003 22:13
Wohnort: Bad Wildungen
Kontaktdaten:

Beitrag von oxpus »

Schau in den Admin-Index. Dort sind die als Gäste aufgeführt ;)
Und die IPs, die da in Massen auftreten, sind meist dann die Bots.
Um die IP zu prüfen, kannst Du auch draufklicken und auf der dann neuen Seite die IP prüfen. Wenn dabei irgendwas mit Google oder Yahoo oder einer anderen SuMa rauskommt, ist es 100%ig ein Bot.
Karsten Ude
-={ Das Mädchen für alles }=-
Kein Support per Messenger, Email oder PN! Unaufgeforderte Nachrichten werden ignoriert!
No support per Messenger, Email or PM. Each unasked message will be ignored!
Holger
Beiträge: 2253
Registriert: Mi 17.Mär, 2004 18:09

Beitrag von Holger »

Alles klar, so mache ich das auch.
Ich dachte, vielleicht hat jemand diese IPs gesammelt.
Real men don’t back up, they learn data recovery. ;-)
http://www.mysqldumper.de
http://www.mysqldumper.se
Holger
Beiträge: 2253
Registriert: Mi 17.Mär, 2004 18:09

Beitrag von Holger »

Ich habe nun die Google-Bots komplett gesperrt (per .htaccess).
Ich habe den Chat deaktiviert (seit längerem).

Wie beeinflusst der Download-Bereich den Server?
Was passiert wenn 2-4 User gleichzeitig 50-100MB runterladen?
Benutzeravatar
oxpus
Administrator
Beiträge: 28737
Registriert: Mo 27.Jan, 2003 22:13
Wohnort: Bad Wildungen
Kontaktdaten:

Beitrag von oxpus »

Wie beeinflusst der Download-Bereich den Server?
Was passiert wenn 2-4 User gleichzeitig 50-100MB runterladen?
Das kommt darauf an, an welcher Leitung der Server sitzt. Je "dicker" die ist, desto besser und schneller der Download.
Bremst dabei den Server nur in dieser Richtung, also dem Zugriff selber.
Wenn ein Script auszuführen ist, beeinflussen die Downloads den Server dann nicht wirklich.
Karsten Ude
-={ Das Mädchen für alles }=-
Kein Support per Messenger, Email oder PN! Unaufgeforderte Nachrichten werden ignoriert!
No support per Messenger, Email or PM. Each unasked message will be ignored!
Holger
Beiträge: 2253
Registriert: Mi 17.Mär, 2004 18:09

Beitrag von Holger »

Naja, ich meine Downloads aus dem Download Mod.
Und wo der Server steht, wiesst Du ja. ;-)

Die Frage ist, ob es lohnt, die Downloads (3GB) auf einen externen Server auszulagern.
Real men don’t back up, they learn data recovery. ;-)
http://www.mysqldumper.de
http://www.mysqldumper.se
Benutzeravatar
oxpus
Administrator
Beiträge: 28737
Registriert: Mo 27.Jan, 2003 22:13
Wohnort: Bad Wildungen
Kontaktdaten:

Beitrag von oxpus »

Naja, ich meine Downloads aus dem Download Mod.
Ich auch.
Und wo der Server steht, wiesst Du ja. ;-)
Das schon, aber nicht an welcher Leitung ;)
Die Frage ist, ob es lohnt, die Downloads (3GB) auf einen externen Server auszulagern.
Wenn Du auf die Verwaltung des Traffics verzichten willst, bitte. Ansonsten hättest Du keine Vorteile.
Und auch keine wirklichen Nachteile, wenn Du nicht auslagerst.
Karsten Ude
-={ Das Mädchen für alles }=-
Kein Support per Messenger, Email oder PN! Unaufgeforderte Nachrichten werden ignoriert!
No support per Messenger, Email or PM. Each unasked message will be ignored!
Antworten