Freier Zugriff auf MapQuest-Karten wird eingestellt (meshviewer)

Technik
9

Tun sie nicht. Das halte ich für ein Gerücht…

https://wiki.openstreetmap.org/wiki/Tile_usage_policy#Technical_Usage_Requirements

Wir haben auch mal kurz überlegt, ob wir als Proxy die IP-Adresse des Anfragenden mit entsprechendem HTTP-Header durchreichen, damit OSM identifizieren kann, dass der Proxy-Server nur Anfragen von anderen Leuten durchreicht, aber das haben wir bis jetzt gelassen. Läuft jedenfalls schon seit drei Monaten gut bei uns klopf auf Holz

Auf der Policy-Seite wird auch https://switch2osm.org/ für weitere Info empfohlen und da wird für Seiten noch nicht einmal ein Tile-Cache verlangt…

10

da sich deine Anwort zwar noch auf das Posting von @yayachiken bezieht antworte ich trotzdem drauf. :wink:

Meine Config zielt genau darauf ab so wenig Requests nach „hinten“ zu machen wie möglich.
Die upstream { .. } Definition beinhaltet schon ein Round-Robin für’s Backend. Dadurch, dass das da alles GEO-DNS Auflösungen sind, werden die Anfragen schon ziemlich lokal bei OSM positioniert. (was allerdings genau für ein potentielles Blocking spricht :wink: )

Trotzdem - sollte es dazu kommen - könnte man ja mal freundlich fragen, was ihnen (OSM) lieber ist… eine IP, die jeden Request nur einmal pro Woche ausführt, oder die 50-100 Einzel-Clients die jeweils dort »einprasseln« und sich mitunter nicht an Cache-Zeiten halten…

Die originären OSM Server unterstützen durchgängig kein IPv6 … :open_mouth:

11

@Shiva
Das ist nett danke.

Hast du nen Überblick was so ein Cache an Serverlast produziert? Abhängig davon würde ich es entweder auf die Webseiten/Meshviewer VM packen oder dem Titleproxy ne eigene Vm gönnen.

12

hmm … so wirklich Last kann ich nicht belegen oder verneinen (das fällt mir halt nicht auf und läuft einfach mit :wink: )… das ist halt Nginx - den seh ich fast nie im top… zumindest nicht in diesen Setups (ich kenn da wohl auch andere Konfigurationen… die haben allerdings auch 10-15k Zugriffe pro Sekunde :wink: …) Ergo: CPU ist schon mal vernachlässigbar.
Natürlich Platten-IO … aber die 500MB da liegen ja wohl eh komplett im Pagecache vom System (die VM hat mal »grosszügige« 2GB)
Ergo: RAM ist der Key… mehr ist da immer mehr.
Und als Webserver natürlich Netzwerk als nötiges Betriebsmittel - da liegt der aktuell bei 10GB RX / 50 GB TX pro Woche - und der Server hat nicht nur den Tile-Cache, sondern auch noch den Rest der Map als weitere vHosts, also inklusive JSON etc…

2 „Gefällt mir“
13

Technisch ist mir das schon klar, evtl. hatte man dort inzwischen auch ein Einsehen. Wir hatten das letztes Jahr schonmal probiert und eben dann irgendwann die „unschönen“ PNGs im Browser.

14

Ich habe mal im #osm IRC gefragt.

Dort wurde mir erläutert, dass es kein festes Limit für Zugriffe gibt, sondern dass gesperrt wird, „wenn es Probleme gibt“.

Mir wurde dann von einem Web-Admin empfohlen, einen Custom-HTTP-User-Agent zu setzen, in dem Kontaktinformationen angegeben sind, damit man die problematische Seite vor dem Sperren kontaktieren kann, und dann ne Lösung finden kann. Meinen Vorschlag nginx $Version tile cache for $site <$admin_email> fanden die als Schema gut.

1 „Gefällt mir“
15

updated

…
proxy_set_header User-Agent „Mozilla/5.0 (compatible; OSMTileCache/1.0; +mailto:technik@freifunk-aachen.de; +https://map.aachen.freifunk.net/)“;
…

YMMV

3 „Gefällt mir“
16

Wir nutzt aktuell HERE die kostenlose Version und ist sehr schnell bisher. Haben maxZoom von 20 wenn man das wünscht und auch eine Hybridmap - Satellit, hilft bei Koordinaten setzten.
Eigener Tiles Server ist auch eine schoene Option, aber ich fand die vielen Icons bei der Standardmap in Innenstadt etwas viel. Der groesste OSM DE Provider hat leider kein https.

Beispiel von HERE map
https://regensburg.freifunk.net/netz/karte/

17

Die hat einen Zoom auf Leipzig und nicht Regensburg.

18

Also bei mir ist das Regensburg im fixedCenter.

Eingefügtes Bild1690×890 900 KB

Darmstadt hat auch HERE als erste Wahl in der liste. Wollte eine Alternative vorstellen/zeigen, die schnell (Übergangs-) Lösung eingebaut werden kann. Hatte nachdem von MapQuest viele Detail Tiles nicht mehr verfügbar waren nach einer alternative gesucht und alle mit https von leaflet durchprobiert. HERE war beste Kombination aus Geschwindigkeit, Design und Infos auf der Map.

19

image.png750×1334 719 KB

iOS 9.3.2

1 „Gefällt mir“
20

@xaver

Magst du mal eure config.json posten?

21

@DSchmidtberg welches iphone (wegen groesse)? Problem liegt an Sa****
Freifunk Regensburg e.V. - Meshviewer geht, aber die Einbindung arbeitet auch wieder mit vh als hoehe (viewport height) und Sa**** ist der einzige Browser auf iDevices der nicht klar kommt. Im standalone hab ich das gefixed

Aber schonmal Danke - werde mir das anschauen

Vergleich ohne Einbettung

Eingefügtes Bild812×972 244 KB

mit Einbettung
Eingefügtes Bild810×981 250 KB

@Tarnatos
Develop
https://github.com/ffrgb/meshviewer/blob/develop/config.json

Live mit keys, sind aber im Backend von HERE eigentlich auf die Domain beschränkt
https://github.com/ffrgb/meshviewer/blob/ffrgb-config/config.json

2 „Gefällt mir“
22

Pro-Tip: Variablen verwenden:

  "mapLayers": [
    {
      "name": "HERE",
      "url": "https://{s}.base.maps.api.here.com/maptile/2.1/maptile/newest/normal.day/{z}/{x}/{y}/256/png8?app_id={app_id}&app_code={app_code}&lg=deu",
      "config": {
        "attribution": "Map &copy; 1987-2016 <a href=\"http://developer.here.com\">HERE</a>",
        "subdomains": "1234",
        "maxZoom": 20,
        "app_id": "<app id hier einfügen>",
        "app_code": "<app code hier einfügen>"
      }
    },
    {
      "name": "HERE.hybridDay",
      "url": "https://{s}.aerial.maps.api.here.com/maptile/2.1/maptile/newest/{variant}/{z}/{x}/{y}/256/png8?app_id={app_id}&app_code={app_code}&lg=deu",
      "config": {
        "attribution": "Map &copy; 1987-2016 <a href=\"http://developer.here.com\">HERE</a>",
        "subdomains": "1234",
        "variant": "hybrid.day",
        "maxZoom": 20,
        "app_id": "<app id hier einfügen>",
        "app_code": "<app code hier einfügen>"
      }
    },
23

Dann bleibt die Karte bei mir weiß.

24

@tcatm das mergen klappt nur sehr begrenzt, daher hab ich das bei mir rausgeworfen, samt ganzen Provider overhead.

Finde Provider ext super zum orientieren, aber alle möglichen Sachen als JSON mitliefern + verarbeiten wirkt sich auf den kritischen Pfad aus.

25

FTR: World maps you can self-host - powered by free OpenStreetMap vector tiles and open-source software. – OpenMapTiles beschreibt, wie man in 5 Minuten selbst einen Tileserver (als Container) an den Start bekommt (5 Minuten, wenn der Donwload der 60 GB der Weltdaten schon passiert ist).

2 „Gefällt mir“
26

Leider habe ich immer noch kein Feedback von den OSM Jungs bekommen aber ich hake da noch mal nach damit wir das als Verein auch unterstützen können.

Da vermutlich jetzt alle Communities etwas brauchen fände ich es schön wenn wir das als Dienst der Community anbieten könnten.

Für die Map in Essen habe ich heute mal den Cache aus Aachen eingetragen und muss sagen das dreht :smiley:!

Viele Grüße,
Philip

1 „Gefällt mir“
27

Shiva hat mir eben ein paar Statistiken gegeben. Zur Zeit tauchen folgende Communitys bei den Referers auf:

  • Freifunk Regio Aachen
  • Freifunk Möhne
  • Freifunk Weinstraße
  • Freifunk Lippe
  • Freifunk Kiel
  • Freifunk Hennef
  • FF Nord
  • Freifunk Uelzen
  • Freifunk München
  • Freifunk Essen

Davon machen ca. 90% Freifunk Aachen und FFNord aus, der Rest scheinen entweder ganz neue Installationen oder Beta/Legacy-Karten mit wenig Besuchern zu sein.

Seit Mai 2016 entstanden dadurch:

  • 2,4 Mio Zugriffe insgesamt

davon:

  • 1,6 Mio Anfragen aus dem Cache bedient (d.h. ~67% Cache Hit)
  • 790.000 Anfragen benötigten Download oder Validierung von OSM-Upstream

In Trafficdaten heißt das:

  • 30,6 GB Tiles insgesamt ausgeliefert
  • davon 6,6 GB die zuerst vom OpenStreetMap Upstream abgeholt werden mussten.

Die letzten 12 Tage (Monat Juli):

  • 451.453 Zugriffe gesamt / 314.151 aus Cache bedient (d.h. ~70% Cache Hit).
  • 5,76 GB Tiles gesamt ausgeliefert / 4.58 GB aus dem Cache bedient

Zur Zeit ist der Cache auf 500 MB limitiert und mit 30.000 Tiles mit insgesamt 430 MB befüllt. Wenn jetzt mehr Communitys dazukommen wird das dann vermutlich wohl mehr, und der Cache muss entweder vergrößert werden oder die Cache Hit Rate wird sinken.

3 „Gefällt mir“
28

Danke für die Info.
Ich hätte nicht gedacht, dass das so wenig Traffic macht.