In den frühen Morgenstunden des 07.05.2016 werde ich, jetzt da die Firmware ausgerollt ist, die fälligen Wartungsarbeiten [1] an der Infrastruktur durchführen.
Hiervon sind dann alle Dienste betroffen. Webseite, Knotenkarte und der Reihe nach alle Gws werden kurzzeitig offline sein.
Ich werde mich bemühen die Downtime gering zu halten und den Beginn nochmal gesondert ankündigen. Ich gehe von etwa 3 Stunden downtime aus. Hierbei wird es zu Ausfällen des Netzes kommen.
seit gestern Abend 22:00 Uhr kommt es zu Beeinträchtigungen des Netzes aufgrund des Ausfalls des Hosts auf dem die Gateways 0,2,5,6 laufen.
Derzeit wird die Last nur von Gw3 und 7 getragen, was das Netz sehr langsam macht. Wir arbeiten bereits an der Behebung des Problems. Es wird jedoch noch etwas dauern. Router die derzeit kein Netz haben, sollten vom Strom getrennt und wieder eingeschaltet werden. Sie suchen sich dann Gw3 oder 7 automatisch aus.
dank Maximilian verfügt Freifunk Nord nun über 5 zusätzliche Gateway VMs. Diese stellt ein Server bei OVH zur Verfügung, der unser Netz mit insgesamt 6 Gateways versorgt.
Ich habe die neuen Gateways heute eingerichtet und sie erscheinen auch schon im Netz.
Warum so viele Gateways?
Euch ist vielleicht schon aufgefallen, dass wir im Gegensatz zu anderen Freifunk Communitys sehr viele Gateways im Einsatz haben. Wir gehen diesen Weg, da wir auf jedem dedizierten Server, wir haben 4, die Virtualisierungslösung Proxmox einsetzen. Diese erlaubt es uns, die Ressourcen des Host Systems effektiv zu nutzen und wir können einzelne Gateways zu Wartungszwecken abschalten, ohne das Netz insgesamt zu beeinträchtigen.
Ach ja und keine Sorge, diesmal bedarf es keines Firmware Updates. Die neuen Gateways sind bereits in einem der letzten Updates integriert worden.
ab heute könnt ihr unten rechts im Meshviewer die Kartendaten von HERE auswählen. Hier habt ihr die Wahl zwischen klassischen Karten und einer Satellitenkarte.
rechtzeitig vor den langen Sommerferien werden am 15.07.2016 Wartungsarbeiten an der Freifunk Nord Infrastruktur durchgeführt.
In dieser Zeit werden Systemupdates eingespielt.
Daher kann es am Abend des 15.07.2016 sowie am Morgen des 16.07.2016 zu Beeinträchtigungen des Netzes kommen. Auch die Webseite kann in dieser Zeit kurzfristig offline sein.
der Meshviewer wurde heute um einen ÖPNV Linienplan erweitert. So könnt ihr euch anzeigen lassen, wie ihr mit dem öffentlichen Nahverkehr zum gewünschten Freifunk Knoten kommt.
Wie immer einfach unten rechts in der Map auf den Papierstapel klicken.
Freifunk Nord und Freifunk Kiel arbeiten enger zusammen
Direkt die nächste News,
gestern haben wir beschlossen unsere Zusammenarbeit mit Kiel weiter zu intensivieren und stellen in dem Zusammenhang Serverkapazitäten für Freifunk Kiel bereit.
Dies werden 3 VMs sein, welche durch FFKi eigenverantwortlich für Gateways genutzt werden können und die Kieler Infrastruktur stärken. Die erste VM wurde gestern bereits eingerichtet und übergeben. Weitere Server folgen nach und nach.
Wir freuen uns sehr diesen Schritt gehen zu können und damit Freifunk im Norden weiter zu stärken.
der Server auf dem alle Freifunk Nord Web Dienste liegen ist zur Zeit ausgefallen.
Alle Daten werden auf einen neuen Server migriert, das wird jedoch einige Tage dauern. Die Funktion der Homepage, des Meshviewers sowie des Knotenformulars ist daher nicht oder nur sehr eingeschränkt gegeben.
Wir melden uns wenn die Arbeiten abgeschlossen sind.
zuerst das wichtigste. Alle Webdienste sind wieder erreichbar.
An dieser Stelle geht unser Dank an alle vom Admin Team, an Baldo und Gernot von Freifunk Hamburg und nach Berlin.
Viele Hände haben in den letzten Tagen dafür gesorgt, dass die Webdienste wieder funktionieren.
Was war passiert?
Der Hypervisor, auf dem die Webseiten VM lief begann in der letzten Woche zunächst Probleme zu machen. Bestimmte IP Adressen ließen sich nicht mehr korrekt auflösen. Ein Update des Hosts führte zunächst zu einer Verschlechterung und ließ den Host einfrieren. Nach einem Neustart schien zunächst alles zu funktionieren, doch schon einige Stunden später froren viele VMs auf dem Host immer wieder mit 100% CPU load ein. Das wiederholte sich einige Tage. Schlussendlich war ein Start der VM nicht mehr möglich und endete in einem Kernel Panic.
Backups des System waren zum Glück vorhanden, ließen sich jedoch nicht ohne weiteres auf eine neue VM übertragen.
Wir entschlossen uns dazu, das System von Grund auf neu aufzusetzen und dabei auf aktuellere Versionen zu setzen.
Das OS wurde auf Debian 8 geupdated, Nginx wurde in der aktuellsten Version installiert und für einen zukünftigen OSM Tiles Server vorbereitet.
Baldo hat das Knotenformular weiterentwickelt. Dieses bietet nun ausgedehnte Admin-Funktionen und erlaubt es euch Usern eure Knoten selbst zu löschen. Hierzu wird es demnächst einen Wiki Eintrag geben, der die neuen Funktionen erklärt.
Je nach Internetprovider kann die DNS Aktualisierung noch eine Weile dauern. Aber alles läuft nun wieder.
Déjà-vu könnte man schon fast sagen, denn vor 22 Tagen schrieb ich eine ähnlich Mail. Auch heute zuerst das Fazit, die Webdienste rund um Freifunk Nord laufen wieder in gewohnter Qualität.
Rückblick:
Vor einigen Tagen hatten wir zunächst mit einer Nichterreichbarkeit der Freifunk Nord Service Maschine zu kämpfen. Nach einiger Zeit, konnten wir den Fehler dann finden und die Maschine war wieder am Netz.
Keine 12h Std später war sie wieder offline, und sträubte sich beharrlich gegen die Wiederinbetriebnahme.
Ein Backup-Restore wurde nötig, was das Problem zunächst nicht löste. Einige Abendende und Nächte vergingen, bevor der Fehler gefunden wurde. - Ungut war nur, dass das Backup nicht auf dem aktuellen Stand war und viele der kleinen Feinheiten nach dem Serverwechsel letzten Monat erneut durchgeführt werden mussten.
Das Problem weitete sich zeitweilig sogar auf die GWs aus, die auf dem Host laufen und nun per IPv6 nicht mehr erreichbar waren. Offensichtlich ist irgendwo ein Lämpchen bei unserem Hoster Hetzner angegangen … nun wurden wir gezwungen den Bug in unserer Config zu suchen, von dem wir bis dato noch gar nichts wussten.
Hier haben meine Admin Kollegen fleißiges Bienchen gespielt, denn ich bin noch on Tour und konnte oft nur zusehen…
