Abschaltung FFRGB Tileserver (Kartenserver)

Hallo,

werde im nächsten Monat Tileserver für andere Communities abschalten. Communities die nachgefragt haben und noch eine Mail vorliegt, werden noch eine Mail bekommen.

xaver

Darf man fragen wieso? So viel Traffic? Vielleicht kann man ja helfen…

Bisher hab ich immer kein ordentliches Guide für nginx gefunden was uns von eigenen Tiles Servern abgehalten hat.

Ach und das wichtigste:

Danke dafür dass wir es bisher nutzen durften!

2 Likes

Es gibt verschiedene Grunde:

  • Änderungen an Infrastruktur sind einfacher mit weniger Configs
  • Immer wieder nehmen Communites die Karte ohne zu fragen und benennen dann noch die Ressourcen um.
  • Meshviewer entwickle ich nur noch mit Fokus aus FFRGB Werde mich nicht mehr um Probleme anderer kümmern. (Weiterhin Releases auf GitHub, aber keine Doku oder ungenutzte Optionen)

Traffic ist eigentlich weniger der Grund (50-100 GB/Monat - geschätzt, hab da keinen genauen Stats), aber Ressourcen schon eher. Gerade der moderneren Renderer ist trotzdem lahm - läuft auf NVMe.

  • 100 GB Datenbank für die Renderer
  • Gerade nach Anpassungen gerne mal 8 Cores zum rednern
  • 8-16 GB RAM
  • Speicher für nginx caches

Ach Gott 16gb Ram das sind ja schon ein paar Taler im Monat.

Ich habe für Freifunk Nord nun euren Server entfernt. (cc @rubo77)

Btw @xaver hast du die Config für euren proxy, ich sehe ihr nutzt auch nginx, irgendwo online?
Btw2 doc.meshviewer.org lädt nicht.

Nein, die config ist nirgends online. Würde auch wenig bringen, da wir eigene Renderserver haben und daher kein Standard nginx Cache setting oder so. OpenstreetMap hat irgendwo eine config gehabt das die Regeln von OSM einhält an Traffic/Leistung.
Absicht das doc.meshviewer.org eingestellt wurde.

Das ließt sich ja alles mal wieder so, als sei irgendwo ne Bombe geplatzt…

So ich konnte „mal eben“ was zusammenfrickeln was mit nginx läuft.

Lesestoff:
https://jperelli.com.ar/post/2017/12/17/how-to-cache-openstreetmap-tiles/


Ssl muss noch gemacht werden… läuft als zusätzlicher Tiles Provider in der Map. (@rubo77 OSM Nord Proxy)

2 Likes

100 GB für welche Karten? Ich bin bei DE-only schon bei 90 GB, wenn ich das richtig überblicke im Docker-Geraffel, und das Erzeugen der Daten dauerte 48+ Stunden :frowning: Eine Beschreibung Eurer HW (NVMe? Ich habe DC-SATA …) und des Setups wären wirklich Klasse, CPU-bound scheint der OSM-Krempel nicht zu sein, aber I/O-intensiv bei der initialen Indexerstellung …

Gute 50 GB hat die PlanetDB je Renderer (ohne History und andere Infos die wir nicht brauchen). Tiles werden OnDemand generiert, da bis zur Zoomstufe 20 einfach sehr sehr viele Daten wären. Dann kommt ein Cache, dass oft genutzte Regionen nicht immer neu gerendert werden. (Haben den Style einfach gehalten, so dass Retina 2x & normale raus fallen und beide nicht zugross werden)

So Kartenserver ist umgestellt und nicht mehr für alle da.

Warum nicht nächsten Monats wie geplant?
Einige dachten sich, das besonders schlau sind und andere Leute mit rechte fürs Repo fragen um Issueliste wieder aktiv zu schalten oder zu beschweren mit der Doku & Tileserver usw. Daher hab ich das jetzt schon umgestellt.

Das hört sich ja sehr fair und professionell an.

4 Likes

Ich kann Xaver absolut verstehen.

Er hat ganz klar gesagt, es wird abgeschaltet und dargelegt wieviele Ressourcen das kostet. Wenn man dann noch hinten rum versucht die Abschaltung zu verhindern, statt mit ihm direkt zu sprechen ist der Schritt absolut nachvollziehbar.

Hätte ich wahrscheinlich nicht anders gemacht.

Wer schnell Abhilfe braucht kann auch HERE nutzen:

1 Like

Ich weiss nicht wie viele Tileproxies es im FF-Universum gibt, aber da die Dinger sowieso laufen würde es vermutlich wenig zusätzliche Brot kosten, auf die auszuweichen.
iow: tiles.eulenfunk.de existiert… falls jemand URL-Parameter suchen sollte: schaut auf map.eulenfunk.de. (das DOP-Layer ist defekt… müsste mal irgendwie gefixt werden.)

4 Likes

Du hast es nicht verstanden. Es wurde von mehreren Seiten direkt mit ihm gesprochen, er hat dennoch ohne sachliche Begründung keinen Zugriff mehr geben wollen auf die Issues und die Doku, „just because“.
Jeder mag sich sich selbst seinen Teil über dieses Verhalten denken.

P.S.: ich habe den tileserver nicht benutzt und war auch sonst eher Zaungast.

3 Likes

Die Issues abzusachalten ist scho verständlich, wenn man keine Zeit dafür hat.

Die Issues noch einmal exportieren zu dürfen wäre schon schön gewesen, denn dort sind viele Ideen was man mit dem tool (oder einem Fork davon) noch anstellen könnten enthalten.

(Vielleicht dürfen wir das ja irgendwann noch mal exportieren.)

Also hier tun viele rum als wie ich hier bezahlte Leistung oder sonst was wegnehmen! Und davor immer immer mit X Leuten rumhacken das irgend Wunsch durchgesetzt wird.

Random Infos

  • Tiles
    • Traffic stats haben schon abgenommen bevor ich abgeschaltet habe
    • Es wurden zuletzt am Tag zu 1-2 Millionen Tiles am Tag ausgeliefert (Tag/Nacht normal Retinaversion zusammen) anhand der Traffic Unterschiede.
    • Einige Communities wie Essen haben sich ohne Fragen bedient, daher auch keine Infos bekommen (Alles aus Ticketsystem wurde angeschrieben)
    • Andere Communities haben nicht nur wie Essen den Herkunftsnamen gelöscht, sondern den eigenen Eingesetzt
    • Es war mal angedacht ein Tiles-System aufzubauen für alle Communities, aber wenn eine liefert war es nicht mehr so wichtig
    • Alten Styles für alte System waren noch online, aber hat kein Mensch interessiert. Daher hab ich mir auch nicht den Aufwand gemacht neue groß online zu Stellen.
  • Meshviewer
    • Es gab immer wieder Probleme. Wohl aus meiner Sicht das schlimmste war wegen der Lizenz. Hab ein Shitstorm bekommen wie ich von AGPL was kein einzige der Libarys nutzt zu MIT (nutzten fast alle JS Libs) umstellen wollte und Leute die nie etwas gemacht haben im Dreieck gesprungen sind.
    • Feature Requests die ich zum X-mal ablehne und nicht eine Stunde erklären will warum wurde immer diskutiert und gevoted. Das ist deprimierend. Macht ein Fork, kümmert euch selbst darum. Bestes Beispiel letzter PR mit irgendwelchen Arrows von Codefetch und dann Drohung das er sonst forken muss.
    • Meshviewer entwickle ich für Regensburg weiter und das Release kommt online als tar.gz oder git sync. Da AGPL wird es auch kein vorab für Test geben, da ohne Source nicht veröffentlichen kann.
  • Sonstiges
    • Dokuaenderungen hin zu absolut unlogischen Sachen.
    • Werde angegangen warum nicht all unsere Tools offen sind die in der Webseite verbaut sind oder Sachen wie Flyer/Bierdeckel/Tassen

Gefühlt gibt es kaum jemand in Freifunk der sonst im Frontend etwas entwickelt und jeder sagt mach doch ein Modul. Das teil hat (bisher) keine Module! Man bietet freundlicherweise die Tiles (die Farblich mit dem Fokus auf Nodes abgestimmt sind), Dokumentiert den Meshviewer samt config, macht Spalten konfigurierbar und man wird rumgemault wie sich die Config vererbt! Man reicht in Freifunk die Hand und der Arm wird ausgerissen.

4 Likes

Der Tileproxy von Eulenfunk ist „take it or leave it“
Aber wenn Du konkrete Wünsche haben solltest, dann lass es gern wissen. Evtl in einem neuen Thread, hier geht es ja eher um den Betrieb eines Tileservers der selbst render, wenn ich es richt verstanden habe.

1 Like

Was @xaver mit seinen Resourcen macht, ist seine Sache. (Wie er [dies] kommuniziert, auch.) Insbesondere hat AFAIK jenes Projekt nichts mit dem FFRL zu tun, mit dem Du Dich ja augenscheinlich grade anlegen willst. (Seriously: get a life, Du nervst grade massiv.)

Edit: FFRGB =! FFRL

2 Likes

Sorry, mir war nicht klar, dass ich mit meinem Geld Xaver hätte bei der Stange halten können. Fragt ihr vorher bitte rechtzeitiger?
Wieviel hätte er denn gebraucht?

Ich bitte dich, nicht zu verallgemeinern, denn den Großteil in deinem neuen umfangreichen Beitrag hier bzw. dessen Inhalt kann ich verstehen/nachvollziehen, auch wenn es Schade ist.

Was jedoch unverständlich bleibt ist das bewusste Erschweren einer anderweitigen Weiterentwicklung durch das Vorenthalten der Informationen aus Issues, Docs und ähnlichem - das kann ich weiterhin nicht nachvollziehen, denn das führt ja gerade zu noch mehr Problemen/Ärger, also genau dem Gegenteil von dem was du erreichen möchtest.