[Stummi-MoBa-Team]

Wie ihr sicher bemerkt habt, war das Forum seit Freitag Nacht sehr langsam und träge.

Die Ursache schien zunächst u.a. in defragmentierten bzw. korrupten Daten zunächst in der Datenbank (genauer in einer größeren Tabelle) zu liegen. Diese wurden im Laufe des Samstag und Sonntag versucht zu bereinigen. Dabei kam es neben einem Absturz des Datenbankservers zu mehreren Table-Crashes, u.a. betroffen die mit mehreren GB Speichergröße und über 2 Mio. Datensätzen größte Tabelle). Aus diesem Grund haben wir uns am Sonntag Nachmittag dann entschlossen, das Forum komplett vom Netz zu nehmen und eine umfangreiche Datensicherung und Datenrekonstruktion zu machen (in Folge derer es auch immer wieder zu einzelnen Abstürzen kam, was die Sache verlangsamt hat). Ein paralleler Betrieb war nicht sinnvoll, da die Datenintegrität nicht gewährleistet werden kann, wenn man versucht Daten zu sichern und gleichzeitig Leute neue Daten produzieren bzw. bestehende Daten editieren.

Die Sache gestaltete sich langwierig und zeitraubend, da einige unserer Datenbanktabellen mittlerweile Dimensionen erreicht haben, die wir uns nie hätten erträumen lassen und unser Server nun auch kein Hochleistungsmonster mehr ist. Wir reden hier von mehreren GB großen Tabellen mit teilweise mehreren Millionen Datensätzen (z.B. die Tabelle mit den ganzen Beiträgen). Leider war auch diese Tabelle vom Crash betroffen, diese wiederherzustellen und zu reparieren frisst nun einmal Zeit. Leider sieht es auch so aus, als wären nicht alle Beiträge fehlerfrei replizierbar, wir arbeiten dran, versprechen aber nichts.

Generell gilt für uns: Datensicherung geht vor allem anderen (auch vor Beantwortung von Benutzeranfragen). Außerdem haben wir nebenher eine reguläre Arbeit, der wir nachgehen müssen, und können nicht pausenlos 24/7 das Forum reparieren, das bitten wir einfach auch zu respektieren, d.h. unsere Zeit ist auch nur begrenzt und man muss priorisieren.

Leider hat sich die ursprüngliche Annahme der kaputten Daten nicht als Lösung des Problems herausgestellt, es war allenfalls ein Teilaspekt, der aber nun bereinigt ist. Auch die etwas unglückliche Konfiguration der Blockade der kompletten Tabelle für einzelne Schreibvorgänge, was zu teilweise massiven Verzögerungen beim Speichern von Beiträgen geführt hat, wurde behoben.

Trotzdem, ist das Haupt-Fehlerbild immer noch etwas diffus, da weder Datenbankserver noch Webserver signifikante Auffälligkeiten hinsichtlich ihrer Leistungsdaten zeigen. Prinizipiell entsteht ein Hauptteil der Performance-Probleme in der Kommunikation zwischen Webserver und Datenbankserver, jeder für sich arbeitet weitestgehend performant. Da beide Server auf derselben Maschine laufen ist auch hier eine zusätzliche Netzwerklatenz zu vernachlässigen. Auch scheint das Fehlerbild wellenartig aufzutreten, u.a. konnte es auch beobachtet werden, wenn nur eine Person auf dem Server unterwegs ist. Wir bleiben weiter dran, bitten aber um Geduld.

Das Forum wird daher in den nächsten Tagen mit unterschiedlichen Konfigurationsparametern betrieben, so dass weitere Messwerte abgegriffen werden können. Allerdings kann es weiterhin zu Verzögerungen und kurzfristigen Ausfällen kommen.

An der Stelle bedanken wir uns ausdrücklich noch einmal bei allen für ihre Geduld, die uns in den letzten Tagen in Ruhe unsere Arbeit haben machen lassen und nicht pausenlos auf diversen Kanälen (inkl. WhatsApp und FB Messenger und auch zu nachtschlafender Zeit) versucht haben, ihre pure Neugier zu befriedigen, ihre merkwürdigsten Spekulationen bestätigt zu bekommen oder uns einfach nur beschimpft haben (da weiß man dann, für wen man seine Freizeit opfert und den Job macht)!

Kleiner Hinweis noch: ein Datenbank-Crash ist nichts, was man vorher planen und ankündigen kann (für diejenigen, die uns vorgeworfen haben, dass man so eine Downtime ja bitte mal vorher ankündigen könne und müsse), geschweige denn, seriöse Aussagen abgeben kann, wie lange es dauert bis alles wieder funktioniert. Es dauert eben solange, wie es dauert.

Generell hat der Vorfall wieder Mal gezeigt: das Forum hat durch seinen Zuspruch mittlerweile eine Größe und Dimension erreicht, die so in Freizeit und mit der bestehenden Architektur kaum noch zu betreiben ist und an seine Grenzen stößt. Der Server in Eigenbetrieb ist vor 10 Jahre aus dem Boden gestampft worden nachdem es zunehmend Probleme mit dem damaligen Dienstleister Foren-City gab. Damals war das eine gute Lösung, die uns viel erleichtert hat. Wir haben aber eben kein Großrechenzentrum oder Servercluster, bei den mittlerweile erreichten Dimensionen wäre aber zumindest Letzteres hilfreich Aus den Gründen haben wir uns auch entschlossen, zu schauen, wie wir die Services weiter professionalisieren können und auch wieder auslagern können, zum einen, um uns selber zu entlasten und zum anderen die Services in besserer Verfügbarkeit und Geschwindigkeit anbieten zu können. Wir evaluieren hier jetzt verschiedene Dienstleister bzgl. Kosten und Leistungsspektrum gemäß unseres Lastenheftes und werden Euch dann zu gegebener Zeit informieren.

Bis dahin bitten wir um Geduld, auch wenn es an der ein oder anderen Stelle noch etwas zwickt im Forum.

[Stummi-MoBa-Team]

Die Replikation der Datensätze ist abgeschlossen, aktuell gibt es keinen Datensatz mehr in der Warteschlange.

D.h. insbesondere: was jetzt an Beiträgen fehlt, ist nicht wieder herstellbar. Nach aktueller Lage betrifft das aber im wesentlichen nur Beiträge, die während des Ausfalls durch automatische Löschung (z..B. Tagesthemen) gelöscht wurden. Bitte beachtet, es gibt auch in anderen Bereichen des Forums neben den Tagesthemen automatische Löschungen, so dass der Effekt auch dort eintreten kann.

Wir lassen nun das Forum weiter in einem reduzierten Betrieb laufen, um weiter Daten zur Performance-Ursache erheben zu können, dazu ist es ggf. auch notwendig mal das ein oder andere Feature oder Plugin temporär zu deaktivieren oder kleine Konfigurationsänderungen vorzunehmen. Bitte verschont uns von sofortiger Meldung von solchen "Fehlfunktionen", das ist im Augenblick gewollt.

Als erstes Ergebnis können wir zumindest festhalten: die Umstellungen in der Datenbank zeigen dahingehend erste Erfolge, das viele Absagen deutlich schneller durchlaufen und die Prozessorlast des Datenbankserver signifikant gesunken ist.

Wir haben aktuell auch etwas die Anzahl der Datenbankverbindungen eingeschränkt, so dass in Hochlastzeiten es eventuell auch mal zum Fehler "General Error --Too many connections" kommen kann, auch dessen sind wir uns bewusst, aber auch hier gilt es erst einen sinnvollen Parameter für die Anzahl der Connections zu finden und den aktuell benötigten Bedarf zu ermitteln.

Bitte geht im Augenblick verantwortungsvoll mit den aktuell eingeschränkten Ressourcen um.

Wir arbeiten weiter an der Stabilisierung und bitte weiterhin um Geduld, wenn mal gerade etwas nicht 100%ig funktioniert.

[Stummi-MoBa-Team]

Der gestrige Abend und der komplette Vormittag liefen unauffällig und schnell ( mit 2 Ausnahmen, die wir selber aber auch bewußt provoziert und erwartet haben). Wir fangen jetzt an, schrittweise die Regler wieder hochzufahren.


Für Statistikfreaks übrigens mal ein paar Zahlen:

• Aktuelle Datenbankgröße: 8 GB (klingt wenig im Vergleich zu Großanbietern, nur operieren die auch mit größeren Serverclustern und nicht mit einem Server, auf dem alles läuft), die größte Tabelle alleine 4 GB
• Datendurchsatz: im Schnitt etwas 700-750 GB pro Monat, im letzten Dezember waren wir mit 980 GB knapp an der TB-Grenze
• Das alles fahren wir aktuell auf einem virtualisierten Server mit 6 CPU-Kernen mit 12 GB RAM und HDD (keine SDD) als Einzelmaschine mit einem hin-optimierten Debian Linux

Ich denke, für die Zahlen läuft es mittlerweile wieder zufriedenstellend, aber es ist auch klar, dass das auf Dauer so nicht weitergehen kann, und erklärt Euch ein wenig, warum es ab und an etwas knarzt und zwickt.

[attachment=0]Aktuelle Serverlast[/attachment]

[Stummi-MoBa-Team]

Auch heute sind nach jetzt 2 Abenden mit höheren Lastzeiten und höheren Benutzerzahlen die Leistungsdaten weiterhin stabil und auch stabil auf einem akzeptablen Level. Hoffen wir, dass es so bleibt.

Wenn wir mit ähnlichen Werten auch dass kommende Wochenende "überleben", d.h. Insbesondere die höhere Wochenend-Last überstehen, denke ich, sind wir weitestgehend über den Berg.

Es sind auch kleine Klagen mehr gekommen, dass irgendwo irgendwas fehlt. Nach meinem Stand sollte auch nichts mehr fehlen, was nicht auch normal gefehlt hätte durch z.B. automatische Löschung.

Die Schreiboperationen sind deutlich schneller geworden, d.h. Insbesondere das Absenden der Beiträge sollte schneller gehen (auch wenn hier noch Messungen ausstehen, wenn am Wochenende noch mehr Nutzerlast kommt). Mal sehen, wie sich das auf die Doppelposting-Problematik auswirkt.

[Stummi-MoBa-Team]

Nachdem auch an besucherreicheren Tagen das Forum nun stabil läuft, gehen wir ab sofort wieder in den Regelbetrieb.