IPv6 für virtuelle Gateways unter Proxmox bei Hetzner einrichten

Danke für deinen Text.
Wir hatten da vor 1-2 auch mal ein Dokument angefangen, das noch etwas ausführlicher sein sollte, aber z.B. Tunnel bisher nicht erwähnt. Vielleicht willst du ja daran weiterschreiben, damit es vielleicht veröffentlichungsfähig wird? Ich wäre nur Nutznießer der Informationen, noch machen wir soetwas nicht selbst.

Sehe ich es richtig, dass dein Text zwei Varianten vorsieht? Entweder Hardware und routing per FFRL/*IX/… oder Mietserver und tunnel von HE und netassist?

Ist dir aufgefallen, dass netassist.ua ein SSL-Cert hat das vor 8 Tagen abgelaufen ist?
Hast du langjährige Erfahrung mit deren Verlässlichkeit?

Wir sind mit Tunnelbroker ohne BGP an sich seit 2015 sehr zufrieden, jedoch weiß ich da keine gute Möglichkeit, um es redundant aufzubauen (hinsichtlich Serverausfall auf unserer Seite).
Andererseits fahren wir seit 2015 ohne jegliche Redundanzen und haben höhere Availability-Messwerte als jeder Consumer-ISP :smiley:

Zu Proxmox bei Hetzner? Dazu kann ich wenig beitragen :wink: Restlicher Reply nebenan.

nein, off-topic hier, das Dokument befasst sich mit dem was du geschrieben hast und das hatte ja nix mit Proxmox zu tun. „how to ASN 4 FF“

Pack’s in 'n Pad & PN, falls es sich mit dem Beitrag von @hexa nicht schon erledigt hat.

1 Like

Hallo,
es freut mich, dass ich mit meiner Frage eine Diskussion hin zu einem eigenen Freifunk v6-Subnetz wiederbelebt habe. Dies wäre für uns in der Zukunft sicherlich auch ein interessantes Thema.

Das obige Problem haben wir nun erstmal mit den /56 Subnetz von Hetzner einfach lösen können.
Dem schließt sich nun aber ein weiteres Problem an die ich mit meinen rudimentären IPv6 Kenntnisse leider nicht gelöst bekomme.

Wir haben jetzt 2 Blech-Server mit jeweils einem eigenem /56 Subnetz. Auf diesem diverse Gateways-VMs, welche entsprechend ein /64 Teilnetz bekommen und verteilen. Nun ist es so, das Beispielsweise auf beiden Servern je ein Gateway der gleichen Domäne, also des gleichen Client-Netz liegen. Die beiden Gateways verteilen per radvd ihr eigenes /64 Subnetz und die Clients genieren entsprechend für jedes Netz jeweils eine IPv6.
Jetzt kommt es vor, dass ein Client mit einer IP von GW1 (der FF-Router ist verbunden über GW1) seine Daten über GW2 schickt. Das funktioniert natürlich nicht.
Was kann ich machen, damit ein Client entsprechend seiner IP das richtige Gateway wählt?

Gruß Helmut

Das ist das „alte“ Quertraffic-Problem und schlägt bei allen Batmannetzen mit mehreren Supernodes (und Gateways) zu.
Will sagen: Es ist leider kein spezielles Hetzner-Problem.

Schau mal nach den diversen Quertraffic-Threads.
(Und ja, es behaupten Menschen, dass das nicht wirkllich ein Problem ist, da Batman…)

Das es kein spezielles Hetzner-Problem ist, ist mit bewusst.
Ich denke aber, dass das auch kein Batman-Quertraffic Problem in dem Sinne ist, sondern ehr ein IPv6.
Freifunk/Batman mit mehreren Gateways ist im IPv6-Sinn ja ein Multihoming-Umgebung. D.H. es gibt mehrere Router mit unterschiedlichen Präfixen welche diese per SLAAC an die Hosts verteilen.
Das gibt es ja nicht nur in Freifunk/Batman-Netzen. Für IPv4-DHCP hat Batman dies ja elegant gelöst, in dem DHCP-Anfragen an die anderen Gateways blockiert.

Nur, was kann ich mit IPv6 machen? So wie es jetzt ist, ist es ein Glücksspiel, ob ich per IPv6 raus komme oder nicht. Eigentlich sucht sich ja in Multihoming-Umgebungen der Client das Gateway anhand von Qualitätsmerkmalen. Ist es z.B. eine Lösung, wenn man an einem Gateway nur Traffic von Adressen des eigenen Präfix forwarded und den Rest wegkippt?

Naja, es ist ja auch kein Proxmox-Problem.
Also in Frankfurt ist es „auf bare metal“ auch aufgetreten.

Das ist auch richtig… :wink:
Mit meinem eigentlichen Problem von oben hat es nur noch entfernt etwas zu tun. Da aber auch zwischendurch thematisch die Diskussion nicht gepasst hat, habe ich jetzt keinen neues Thema aufgemacht.

Du musst kein neues Thema aufmachen, ich habe Dir zwei passende verlinkt weiter oben. Alternativ einen neuen aufmachen, wenn’s nicht passt.
(bitte immer dran denken, dass später mal Leute versuchen über die Suche etwas im Forum zu finden. und frustriert sein werden, wenn ein Thread 80 Artikel hat von dem 60+ etwas anderes diskutieren als im Thema steht)

1 Like

Was damals diskutiert wurde, hat uns zum Setup mit ULA in der FW und Public-v6 mit ::/0 und DNS-Servern via RA von den GWs gebracht. (Das hat was damit zu tun, daß wir keinen eigenen v6-Adressraum haben, er ist uns nur direkt oder indirekt zugewiesen über LIRs — und LIRs könnten verschwinden, und mit ihren jener Addressraum. Daher ULA für die Notfallkonnektivität, das öffentliche v6 je Mesh können wir so je nach Bedarf über Konfigurationsänderungen an den GWs steuern.)
Gateways für ein Mesh sind »hintenrum« zusammengeschlossen, sodaß es egal ist, über welches GW der Traffic geht.

Du kannst z. B. Dein eigener kleiner FFRL sein und auf dem Blech mit dem 1. /56, ich nenne das mal »links«, per Tunnel das 1. »linke« /64 auch der entsprechenden VM »rechts« bereitstellen. Damit hast Du zwar weiterhin einen SPOF (Host »links«), aber kein Routingproblem mehr (dafür den Mehraufwand mit Tunneln).
Oder Du nutzt die Möglichkeiten des Hosters, daß ein Netz an mehreren Hosts (Servern/Blechen) anliegen kann. Sind halt ein paar kleine Münzen einzuwerfen, dafür entfällt auch der SPOF.

Naja, es geht ja auch mit Hetzner (scheint nur prohibitiv teuer zu sein). Ich meine, Freifunk Nord hat sich bei OVH ein paar Hosts und Netzwerk-Foo drumherum besorgt?

Naja, »elegant«; daß mein IPv4-Default-GW auf einem anderen System liegen kann als mein (fastd-/Tunneldigger-) VPN-Peer, finde ich vieles, nicht aber »elegant«. Es gab da mal [dieses automatische Umwandeln von »’« am Wortanfang zu »,« ist shice!] ‚nen Ansatz (IW’TGTFY), RAs nur vom ausgewählten Batman-Gateway durchzulassen — fand‘ ich damals einen charmanten Ansatz, heute, nach 5 Jahren Flatterman-Freifunk, weiß ich, daß weniger mehr ist und KISS ein endgeiles Prinzip :shushing_face:

Das Problem bei OVH ist, dass es dort zumindest meines wissens keine zusätzlichen IPv6-Prefixe gibt, auch nicht für Geld und gute Worte. Zumindest nicht solange man nicht zusätzlich ein V-Rack ordert, was afaik um die 100€/Monat „für nix“ (aus meiner Perspektive) zu Buche schlägt. (Und ja, nur bei OVH, nicht bei deren B-Brand „SoYouStart“.)
Und das eine /64 was man pro Blech bekommt, das reicht schlicht nicht.

Wenn es bei Hetzner zusätzliche Prefixe „gegen Einwurf kleiner Münzen“ gibt, dann würde ich wirklich das tun. Einfach weil es den Maintenance-Aufwand gering hält. Und „Zeit“ und vor allem „Frust-Level“ ist das, was man den Co-Admins (und sich selbst) ersparen möchte, wenn das Hobby länger freude bereiten soll.

IIRC hat das eine Community getan. Ich habe aus eigener fail2ban-Erfahrung OVH auf der schwarzen Liste, sprich bei zuviel Nerverei wird stumpf jeder Präfix von OVH geerdet — auf Abuse-Anfragen wird nach außen hin nicht reagiert, solche Netze muß ich nicht routen. Aufgrund der Größe sind Kollateralschäden unvermeidlich¹, aber, hey, mein Netz, meine Regeln.


¹ Bei ~140 IPv4 und ~20 IPv6-Präfixen wird was fehlen …

früher habe ich gesagt „IPv6 dauert noch“ und „insbesondere bei den Discount-Providern“.
Aber irgendwie tut sich da in den letzten Jahren nichts mehr oder nur noch in unsichbaren Microsteps.

Umgekehrt ist es bei den Großen „Premium“-Hostern mindestens nicht ein Stück besser. Gutes IPv6 für Mietserver scheint es nur bei Anbietern zu geben, bei denen entweder der Traffic SEHR teuer ist, völlig intransparente „Fair-use“-Policies gelten oder aber das Accounting eine Hölle ist (ständig fehlerhafte/doppelabrechnungen etc).

Was den Hetzner betrifft: Eine Lösung kann(!) sein, den Exit(!) über hetzner-Cloud zu routen. Also vom Hetzner-Proxmox (da wo die Supernode-Magie passiert und der Quertraffic ‚kostengünstig‘ abgewickelt wird) in eine Cloudinstanz, die mit einer Transfer/Failover-IP (exakter Name entfallen) ausgestattet ist. Diesen „exitnode“ für 3€/Monat/20TB(?) müsste man dann stateless provisionieren und bei 19,5TB gegen den nächsten Server „on the fly“ tauschen.
Falls dafür jemand Ansible-Rollen haben sollte: Welcome!

Das kann ich nicht unterschreiben; der Use-Case hier ist ein sehr spezieller, das hat aber mit IPv6 bei Hostern gar nichts zu tun. So bietet sich z. B. ein Host bei Hetzner an (aufgrund des Entfalls des Traffickontigentierung und der typisch guten Performance), IPv6 zu IPv4-only-Servern zu tunneln. Aber das ist eine andere Geschichte :wink:

Seriöslich? Warum nicht den Hetzner-Heckmeck (Abuse-Nachricht mit 24h bis zur Serversperrung wegen „Angriffen“ gegen 6.0.0.0/8, was gar nicht geroutet wird) sich schenken und providerunabhängig durch FFRL-Tunnel werden? Wenn Du eh’ tunneln mußt, warum dann nicht »richtig«?

Naja, das war nicht die Fragestellung des TS. Es ging mir darum aufzuzeigen, welche Alternativen es noch gibt, wenn man „nur bei Hetzner allein“ mit seinem Setup bleiben will.

(Ich selbst bleibe da beim Weg über GRE-Tunnel zu ffrl/ffnw. Das Thema „selbst AS/LIR werden“ hatten wir ja schon abgespalten.)

Welche anderen Produkte zuzukaufen, war aber ebensowenig Initiale Fragestellung :slight_smile:

1 Like

Wie ich sehe, gibt es da keine einfache Lösung.
Die Lösung, das Subnetz bei Hetzner auf das VSwitch zu legen wäre eine Möglichkeit, hinterlässt bei mir aber aufgrund der unkalkulierbaren Traffic-Kosten aber etwas Bauchschmerzen, da wir definitiv weit jenseits der 1TB inklusiv Traffic sind.

Im Grunde ist das ganze ja ein Client-Problem. Soweit ich das Testen konnte, funktioniert das ganze unter Windows richtig. Es nutzt zumindest für das gewählte GW auch die richtige Client-IP. Unter Android (evtl. auch Linux) klappt das nicht. Da wird die erste erhaltene IP genommen und über ein beliebiges GW geroutet. Wonach die Auswahl der Standardroute erfolgt, kann ich nur raten. Evtl. Link-Qualität oder als letztes hinzugefügt?

Du kannst auch einen Gretap-Tunnel zwischen den beiden Hosts setzen. Musst Du nur schauen, ob da evtl. irgendwelche bizarren Limits bei Hetzner passieren.
Stehen die Server denn im gleichen RZ bei Hetzner?

Ich bin mir nicht ganz sicher ob das rüber kam. Der vSwitch ist bei Hetzner ohne Traffic Limit für die Kommunikation zwischen den eigenen Servern (ohne Traffic Begrenzung) komplett kostenlos.

(Das ist einfach ein VLAN zwischen den eigenen Servern.)

Was kostenpflichtig ist (und wo ein Traffic Limit gilt), ist wenn man über das VLAN / den vSwitch ins Internet routen möchte.

Wenn man also ohne Redundanz leben kann, dann kann die IPv6 Subnetze der Server beispielsweise darüber routen.

Ich würde aber nicht zu dieser Lösung raten (da es eben keine Redundanz gibt).