Heute sind drei Supernodes in der Domäne Rheinufer ausgefallen. Daher bleiben bis auf weiteres ein Teil der Standorte ohne Anbindung. Ursache des Ausfalls ist eine Abschaltung durch den Provider, der das hohe Traffic-Aufkommen als Indikator dafür gewertet hat, dass die Server durch Dritte übernommen und für Angriffe verwendet wurden.
Aus Sicht des Admin-Teams sind die Systeme nicht kompromittiert und es handelt sich lediglich um ein Missverständnis. Wir haben den Kontakt unsererseits aufgenommen und drängen darauf, dass die Server alsbald wieder in Betrieb genommen werden.
Ich habe nun fünf weitere Server bei In-Berlin aufgebaut und installiert. Diese funktionieren vorerst lediglich als Supernode, werden aber spätestens am nächsten Wochenende eigenes Routing bekommen, um damit wieder vollständig redundant zu sein (endlich wieder über zwei Provider).
Leider stelle ich gerade einen erheblichen Paketverlust bei der Verbindung zu den Servern fest. Ich hoffe, dass sich das Problem noch von alleine gibt und melde mich hier morgen wieder.
Irgendwie läuft es wieder. Aber so richtig schön ist es nicht.
Schade, dass es nicht geklappt hat, Supernodes bei mehr als einem einzigen Anbieter zu haben.
Es zeigt aber leider, dass es leider nicht ausreicht, Kapazitäten für 150% der Last vorzuhalten.
Natürlich kostet komplette Redundanz Geld. Aber in den sauren Apfel werden wir beißen müssen zukünftig.
(d.h. Gelder und Arbeitsleistung dafür rechtzeitig organisieren. Es ist meines Erachtens nicht so schön, wenn die Welt nur von 1-2 Personen gerettet werden kann.)
Naja, hätte in diesem Fall ja wahrscheinlich schon gereicht, aber halt nicht wenn die Server für 150 % Last alle bei einem Provider stehen. Mindestens zwei, besser drei oder vier Provider wären natürlich nett.
Da gebe ich dir vollkommen recht (wie groß ist das Admin-Team eigentlich)? Aber wichtig ist natürlich auch dass jeder weiß was er und möglichst auch die anderen tun.
Die Server bei In-Berlin sind derzeit down. Da hat sich heute Nacht eine Last hochgeschaukelt und bei Load >20 sind sie abgeschaltet worden. Dafür haben wir natürlich Verständnis und wir suchen noch nach dem Fehler. Im Laufe des Tages sollten wir sie wieder hochnehmen können und unter Beobachtung laufen lassen.
Das erklärt, warum ich gestern keine Verbindung bekommen habe. Danke für die Infos @nomaster, hoffen wir mal, dass du das Routing und alles weitere erfolgreich hinbekommst.
Wir haben einen temporären Workaround getestet welcher jetzt auf alle Supernodes angewendet wird.
Danach sollten alle Supernodes wieder verfügbar sein, wir beobachten die Situation natürlich weiter.
Die Supernodes sind nun wieder online, Map Server sowie der Autoupdate Server Mirror sind ebenfalls online. Der Master Autoupdate Server folgt bald.
Wir überwachen die Situation weiter.
Und das nach nicht mal 48 Stunden. Klar hatte ich auch Befürchtungen, als alles am wegbrechen war. Die hochfliegenden Pläne mit Freifunk wurden in dem Moment erst mal nach hinten gestellt.
Dann habe ich mir die Zeit genommen darüber nachzudenken, wer hier was leistet und wer Verantwortung übernimmt.
Wenn ich Panik kriege, weil einer meiner Nodes nicht das Erwartete tut, wie mag sich ein Admin fühlen, der Verantwortung für 500 Nodes trägt?
Meine Bitte für die Zukunft an die Admins: mehr Transparenz, z.B. ein schwarzes Brett, wo in ein oder zwei Zeilen akute Probleme veröffentlicht werden.
An alle Anderen: macht euren „Kunden“ von Anfang an klar, dass Freifunk nicht garantiert verfügbar ist. Deshalb ist ja auch so preiswert!
@kalle: solche Kommentare kannst du dir wirklich sparen. Die führen niemanden weiter.
