Ausfall von drei Supernodes

Heute sind drei Supernodes in der Domäne Rheinufer ausgefallen. Daher bleiben bis auf weiteres ein Teil der Standorte ohne Anbindung. Ursache des Ausfalls ist eine Abschaltung durch den Provider, der das hohe Traffic-Aufkommen als Indikator dafür gewertet hat, dass die Server durch Dritte übernommen und für Angriffe verwendet wurden.

Aus Sicht des Admin-Teams sind die Systeme nicht kompromittiert und es handelt sich lediglich um ein Missverständnis. Wir haben den Kontakt unsererseits aufgenommen und drängen darauf, dass die Server alsbald wieder in Betrieb genommen werden.

6 Likes

This topic is now a banner. It will appear at the top of every page until it is dismissed by the user.

This topic is no longer a banner. It will no longer appear at the top of every page.

Ach du Schande!

Das erklärt so einiges, haben die eine Bereitschaft die die Server vor Montag Morgen wieder entsperrt?

Danke für die Meldung!

Ärgerlich - aber unvermeidlich, dass es ab und an zu so Missverständnissen kommt. Danke für die Meldung.

können wir euch mit der Domäne wupper aushelfen? Könnten fastd auf 2 Servern einrichten, Port 10000 ist bei uns noch frei.

Hatte nicht jmd von den Admins erzählt, dass ihr das immer bei der Bestellung mitangibt

Ich habe nun fünf weitere Server bei In-Berlin aufgebaut und installiert. Diese funktionieren vorerst lediglich als Supernode, werden aber spätestens am nächsten Wochenende eigenes Routing bekommen, um damit wieder vollständig redundant zu sein (endlich wieder über zwei Provider).

Leider stelle ich gerade einen erheblichen Paketverlust bei der Verbindung zu den Servern fest. Ich hoffe, dass sich das Problem noch von alleine gibt und melde mich hier morgen wieder.

2 Likes

Irgendwie läuft es wieder. Aber so richtig schön ist es nicht.
Schade, dass es nicht geklappt hat, Supernodes bei mehr als einem einzigen Anbieter zu haben.

Es zeigt aber leider, dass es leider nicht ausreicht, Kapazitäten für 150% der Last vorzuhalten.

Natürlich kostet komplette Redundanz Geld. Aber in den sauren Apfel werden wir beißen müssen zukünftig.
(d.h. Gelder und Arbeitsleistung dafür rechtzeitig organisieren. Es ist meines Erachtens nicht so schön, wenn die Welt nur von 1-2 Personen gerettet werden kann.)

3 Likes

Naja, hätte in diesem Fall ja wahrscheinlich schon gereicht, aber halt nicht wenn die Server für 150 % Last alle bei einem Provider stehen. Mindestens zwei, besser drei oder vier Provider wären natürlich nett.

Da gebe ich dir vollkommen recht (wie groß ist das Admin-Team eigentlich)? Aber wichtig ist natürlich auch dass jeder weiß was er und möglichst auch die anderen tun.

Die Server bei In-Berlin sind derzeit down. Da hat sich heute Nacht eine Last hochgeschaukelt und bei Load >20 sind sie abgeschaltet worden. Dafür haben wir natürlich Verständnis und wir suchen noch nach dem Fehler. Im Laufe des Tages sollten wir sie wieder hochnehmen können und unter Beobachtung laufen lassen.

Das erklärt, warum ich gestern keine Verbindung bekommen habe. Danke für die Infos @nomaster, hoffen wir mal, dass du das Routing und alles weitere erfolgreich hinbekommst. :wink:

Ich habe 10 Beiträge in ein neues Thema verschoben: Pro und Kontra zentraler Infrastruktur

2 Likes

Update:

Wir haben einen temporären Workaround getestet welcher jetzt auf alle Supernodes angewendet wird.
Danach sollten alle Supernodes wieder verfügbar sein, wir beobachten die Situation natürlich weiter.

3 Likes

Wie kommst Du denn darauf?

Die Supernodes sind nun wieder online, Map Server sowie der Autoupdate Server Mirror sind ebenfalls online. Der Master Autoupdate Server folgt bald.
Wir überwachen die Situation weiter.

6 Likes

Cool, danke für den Hinweis, und vor allem für die Arbeit!

Gibt es darüber hinaus auch Feedback vom Hoster, z.B. wie solche „Verdachtsmomente“ zukünftig gehandhabt werden?

OK, wir hatten einen Ausfall. Der Ausfall ist mit einem Workaround behoben. Schaut euch doch mal den aktuellen Status an:

Supernode: rheinufer0 0 0 5
Supernode: rheinufer1 0 0 123
Supernode: rheinufer2 0 0 5
Supernode: rheinufer3 0 0 48
Supernode: rheinufer4 0 2 190
Supernode: rheinufer5 0 2 44
Supernode: rheinufer6 0 2 106
Supernode: rheinufer7 0 0 132

Und das nach nicht mal 48 Stunden. Klar hatte ich auch Befürchtungen, als alles am wegbrechen war. Die hochfliegenden Pläne mit Freifunk wurden in dem Moment erst mal nach hinten gestellt.
Dann habe ich mir die Zeit genommen darüber nachzudenken, wer hier was leistet und wer Verantwortung übernimmt.
Wenn ich Panik kriege, weil einer meiner Nodes nicht das Erwartete tut, wie mag sich ein Admin fühlen, der Verantwortung für 500 Nodes trägt?
Meine Bitte für die Zukunft an die Admins: mehr Transparenz, z.B. ein schwarzes Brett, wo in ein oder zwei Zeilen akute Probleme veröffentlicht werden.
An alle Anderen: macht euren „Kunden“ von Anfang an klar, dass Freifunk nicht garantiert verfügbar ist. Deshalb ist ja auch so preiswert! :wink:

@kalle: solche Kommentare kannst du dir wirklich sparen. Die führen niemanden weiter.