NirusLaboratories
E2Testkammern
NEU AKTIV 14/ 16

Der Wachhund

Testkammer 14. Sie werden überwacht. Die Überwachung auch.

Der Wachhund

Ein Dienst, der ausfällt, sagt nicht Bescheid. Er ist einfach weg, und man merkt es erst, wenn jemand fragt, warum der Chat nicht geht. Darum schaut im Labor rund um die Uhr jemand nach: ob alles antwortet, ob der Strom hält, ob irgendwo eine Sicherheitslücke offen steht.

Systeme melden sich–/–
Verfügbarkeit, 24 h–
Notstrom2 USV
Update-Berichtfreitags

Versuchsaufbau

  1. 01
    Der Wachhund. Uptime Kuma klopft laufend überall an: Antwortet die Webseite? Läuft der Chat? Sieht der Zeitserver genug Satelliten? Um die Uhr allein kümmern sich mehrere Prüfungen. Manche Geräte melden sich auch von selbst, „ich lebe noch“, und wenn die Meldung ausbleibt, schlägt der Hund an.
  2. 02
    Wache für die Wache. Der Wachhund wohnt auf einem eigenen kleinen Raspberry Pi, nicht im Maschinenraum. Fällt der Maschinenraum aus, ist der Hund noch da und bellt.
  3. 03
    Der Notstrom. Zwei unterbrechungsfreie Stromversorgungen (USV) halten Speicher und Netzwerk bei einem Stromausfall am Laufen. Der Pi liest ihre Batterien aus und meldet, wenn eine auf Batterie läuft oder schwächelt.
  4. 04
    Der Freitagsbericht. Jeden Freitag schickt jeder Server einen Bericht in einen eigenen Raum im Matrix-Chat: welche Programme veraltet sind, welche bekannte Sicherheitslücken haben und ob ein Neustart fällig ist.
  5. 05
    Die Lückenwache. Jeden Morgen liest ein Wächter die öffentliche Liste neuer Sicherheitslücken für die Programme, die hier laufen. Ist eine kritisch, klingelt sofort das Handy. Sicherheitsupdates installieren sich jede Nacht selbst, alles andere entscheidet ein Mensch.
  6. 06
    Der Fortschrittsbalken. Lange Arbeiten wie Kopieren oder Umwandeln melden ihren Fortschritt als eine einzige Nachricht im Chat, die sich selbst weiterschreibt. Am Ende klingelt es einmal: ✅, ⚠️ oder ❌.

Gerade jetzt

Die Prüfungen, nach Bereichen. Grün heißt: Alles in diesem Bereich antwortet.

Warum?

Weil die meisten Ausfälle leise sind. Ein Server, der abstürzt, macht kein Geräusch, ein Backup, das nicht läuft, auch nicht. Ohne Wache merkt man es erst, wenn man es braucht.

Testergebnis

Bestanden mit Auflagen. Backups scheitern leise, und zwar jedes Mal anders: Viermal ist hier ein Backup ausgefallen, ohne dass es jemand merkte, das längste Mal viereinhalb Monate lang. Jedes Mal aus einem anderen Grund, und jedes Mal hat es am Ende ein Mensch gefunden, keine Maschine. Seitdem bekommen Backups einen Herzschlag beim Wachhund: Bleibt er aus, wird es rot. Noch nicht bei allen. Daran wird gearbeitet.

Und ein Fund am Rande: Jahrelang wurde der Pi jede Nacht neu gestartet, weil die USV angeblich ständig die Verbindung verlor. Gemessen hat es irgendwann jemand. Die USV hat die Verbindung kein einziges Mal verloren. Das Überwachungsskript hat bei jedem kleinen Schluckauf beide Treiber neu gestartet und sich damit selbst den nächsten Schluckauf gemacht: 1.048 Mal am Tag.

Code von Uptime Kuma Network UPS Tools