IPv6 für virtuelle Gateways unter Proxmox bei Hetzner einrichten

Das ist das „alte“ Quertraffic-Problem und schlägt bei allen Batmannetzen mit mehreren Supernodes (und Gateways) zu.
Will sagen: Es ist leider kein spezielles Hetzner-Problem.

Schau mal nach den diversen Quertraffic-Threads.
(Und ja, es behaupten Menschen, dass das nicht wirkllich ein Problem ist, da Batman…)

Das es kein spezielles Hetzner-Problem ist, ist mit bewusst.
Ich denke aber, dass das auch kein Batman-Quertraffic Problem in dem Sinne ist, sondern ehr ein IPv6.
Freifunk/Batman mit mehreren Gateways ist im IPv6-Sinn ja ein Multihoming-Umgebung. D.H. es gibt mehrere Router mit unterschiedlichen Präfixen welche diese per SLAAC an die Hosts verteilen.
Das gibt es ja nicht nur in Freifunk/Batman-Netzen. Für IPv4-DHCP hat Batman dies ja elegant gelöst, in dem DHCP-Anfragen an die anderen Gateways blockiert.

Nur, was kann ich mit IPv6 machen? So wie es jetzt ist, ist es ein Glücksspiel, ob ich per IPv6 raus komme oder nicht. Eigentlich sucht sich ja in Multihoming-Umgebungen der Client das Gateway anhand von Qualitätsmerkmalen. Ist es z.B. eine Lösung, wenn man an einem Gateway nur Traffic von Adressen des eigenen Präfix forwarded und den Rest wegkippt?

Naja, es ist ja auch kein Proxmox-Problem.
Also in Frankfurt ist es „auf bare metal“ auch aufgetreten.

Das ist auch richtig… :wink:
Mit meinem eigentlichen Problem von oben hat es nur noch entfernt etwas zu tun. Da aber auch zwischendurch thematisch die Diskussion nicht gepasst hat, habe ich jetzt keinen neues Thema aufgemacht.

Du musst kein neues Thema aufmachen, ich habe Dir zwei passende verlinkt weiter oben. Alternativ einen neuen aufmachen, wenn’s nicht passt.
(bitte immer dran denken, dass später mal Leute versuchen über die Suche etwas im Forum zu finden. und frustriert sein werden, wenn ein Thread 80 Artikel hat von dem 60+ etwas anderes diskutieren als im Thema steht)

1 „Gefällt mir“

Was damals diskutiert wurde, hat uns zum Setup mit ULA in der FW und Public-v6 mit ::/0 und DNS-Servern via RA von den GWs gebracht. (Das hat was damit zu tun, daß wir keinen eigenen v6-Adressraum haben, er ist uns nur direkt oder indirekt zugewiesen über LIRs — und LIRs könnten verschwinden, und mit ihren jener Addressraum. Daher ULA für die Notfallkonnektivität, das öffentliche v6 je Mesh können wir so je nach Bedarf über Konfigurationsänderungen an den GWs steuern.)
Gateways für ein Mesh sind »hintenrum« zusammengeschlossen, sodaß es egal ist, über welches GW der Traffic geht.

Du kannst z. B. Dein eigener kleiner FFRL sein und auf dem Blech mit dem 1. /56, ich nenne das mal »links«, per Tunnel das 1. »linke« /64 auch der entsprechenden VM »rechts« bereitstellen. Damit hast Du zwar weiterhin einen SPOF (Host »links«), aber kein Routingproblem mehr (dafür den Mehraufwand mit Tunneln).
Oder Du nutzt die Möglichkeiten des Hosters, daß ein Netz an mehreren Hosts (Servern/Blechen) anliegen kann. Sind halt ein paar kleine Münzen einzuwerfen, dafür entfällt auch der SPOF.

Naja, es geht ja auch mit Hetzner (scheint nur prohibitiv teuer zu sein). Ich meine, Freifunk Nord hat sich bei OVH ein paar Hosts und Netzwerk-Foo drumherum besorgt?

Naja, »elegant«; daß mein IPv4-Default-GW auf einem anderen System liegen kann als mein (fastd-/Tunneldigger-) VPN-Peer, finde ich vieles, nicht aber »elegant«. Es gab da mal [dieses automatische Umwandeln von »'« am Wortanfang zu »,« ist shice!] ‚nen Ansatz (IW’TGTFY), RAs nur vom ausgewählten Batman-Gateway durchzulassen — fand‘ ich damals einen charmanten Ansatz, heute, nach 5 Jahren Flatterman-Freifunk, weiß ich, daß weniger mehr ist und KISS ein endgeiles Prinzip :shushing_face:

Das Problem bei OVH ist, dass es dort zumindest meines wissens keine zusätzlichen IPv6-Prefixe gibt, auch nicht für Geld und gute Worte. Zumindest nicht solange man nicht zusätzlich ein V-Rack ordert, was afaik um die 100€/Monat „für nix“ (aus meiner Perspektive) zu Buche schlägt. (Und ja, nur bei OVH, nicht bei deren B-Brand „SoYouStart“.)
Und das eine /64 was man pro Blech bekommt, das reicht schlicht nicht.

Wenn es bei Hetzner zusätzliche Prefixe „gegen Einwurf kleiner Münzen“ gibt, dann würde ich wirklich das tun. Einfach weil es den Maintenance-Aufwand gering hält. Und „Zeit“ und vor allem „Frust-Level“ ist das, was man den Co-Admins (und sich selbst) ersparen möchte, wenn das Hobby länger freude bereiten soll.

IIRC hat das eine Community getan. Ich habe aus eigener fail2ban-Erfahrung OVH auf der schwarzen Liste, sprich bei zuviel Nerverei wird stumpf jeder Präfix von OVH geerdet — auf Abuse-Anfragen wird nach außen hin nicht reagiert, solche Netze muß ich nicht routen. Aufgrund der Größe sind Kollateralschäden unvermeidlich¹, aber, hey, mein Netz, meine Regeln.


¹ Bei ~140 IPv4 und ~20 IPv6-Präfixen wird was fehlen …

früher habe ich gesagt „IPv6 dauert noch“ und „insbesondere bei den Discount-Providern“.
Aber irgendwie tut sich da in den letzten Jahren nichts mehr oder nur noch in unsichbaren Microsteps.

Umgekehrt ist es bei den Großen „Premium“-Hostern mindestens nicht ein Stück besser. Gutes IPv6 für Mietserver scheint es nur bei Anbietern zu geben, bei denen entweder der Traffic SEHR teuer ist, völlig intransparente „Fair-use“-Policies gelten oder aber das Accounting eine Hölle ist (ständig fehlerhafte/doppelabrechnungen etc).

Was den Hetzner betrifft: Eine Lösung kann(!) sein, den Exit(!) über hetzner-Cloud zu routen. Also vom Hetzner-Proxmox (da wo die Supernode-Magie passiert und der Quertraffic ‚kostengünstig‘ abgewickelt wird) in eine Cloudinstanz, die mit einer Transfer/Failover-IP (exakter Name entfallen) ausgestattet ist. Diesen „exitnode“ für 3€/Monat/20TB(?) müsste man dann stateless provisionieren und bei 19,5TB gegen den nächsten Server „on the fly“ tauschen.
Falls dafür jemand Ansible-Rollen haben sollte: Welcome!

Das kann ich nicht unterschreiben; der Use-Case hier ist ein sehr spezieller, das hat aber mit IPv6 bei Hostern gar nichts zu tun. So bietet sich z. B. ein Host bei Hetzner an (aufgrund des Entfalls des Traffickontigentierung und der typisch guten Performance), IPv6 zu IPv4-only-Servern zu tunneln. Aber das ist eine andere Geschichte :wink:

Seriöslich? Warum nicht den Hetzner-Heckmeck (Abuse-Nachricht mit 24h bis zur Serversperrung wegen „Angriffen“ gegen 6.0.0.0/8, was gar nicht geroutet wird) sich schenken und providerunabhängig durch FFRL-Tunnel werden? Wenn Du eh’ tunneln mußt, warum dann nicht »richtig«?

Naja, das war nicht die Fragestellung des TS. Es ging mir darum aufzuzeigen, welche Alternativen es noch gibt, wenn man „nur bei Hetzner allein“ mit seinem Setup bleiben will.

(Ich selbst bleibe da beim Weg über GRE-Tunnel zu ffrl/ffnw. Das Thema „selbst AS/LIR werden“ hatten wir ja schon abgespalten.)

Welche anderen Produkte zuzukaufen, war aber ebensowenig Initiale Fragestellung :slight_smile:

1 „Gefällt mir“

Wie ich sehe, gibt es da keine einfache Lösung.
Die Lösung, das Subnetz bei Hetzner auf das VSwitch zu legen wäre eine Möglichkeit, hinterlässt bei mir aber aufgrund der unkalkulierbaren Traffic-Kosten aber etwas Bauchschmerzen, da wir definitiv weit jenseits der 1TB inklusiv Traffic sind.

Im Grunde ist das ganze ja ein Client-Problem. Soweit ich das Testen konnte, funktioniert das ganze unter Windows richtig. Es nutzt zumindest für das gewählte GW auch die richtige Client-IP. Unter Android (evtl. auch Linux) klappt das nicht. Da wird die erste erhaltene IP genommen und über ein beliebiges GW geroutet. Wonach die Auswahl der Standardroute erfolgt, kann ich nur raten. Evtl. Link-Qualität oder als letztes hinzugefügt?

Du kannst auch einen Gretap-Tunnel zwischen den beiden Hosts setzen. Musst Du nur schauen, ob da evtl. irgendwelche bizarren Limits bei Hetzner passieren.
Stehen die Server denn im gleichen RZ bei Hetzner?

Ich bin mir nicht ganz sicher ob das rüber kam. Der vSwitch ist bei Hetzner ohne Traffic Limit für die Kommunikation zwischen den eigenen Servern (ohne Traffic Begrenzung) komplett kostenlos.

(Das ist einfach ein VLAN zwischen den eigenen Servern.)

Was kostenpflichtig ist (und wo ein Traffic Limit gilt), ist wenn man über das VLAN / den vSwitch ins Internet routen möchte.

Wenn man also ohne Redundanz leben kann, dann kann die IPv6 Subnetze der Server beispielsweise darüber routen.

Ich würde aber nicht zu dieser Lösung raten (da es eben keine Redundanz gibt).

Dann hast Du doch eine Lösung.
(Natürlich ist der Quertraffic trotzdem ärgerlich, weil er Bandbreite auf dem Interface kostet)
Andere Lösungen: Siehe verlinkte Threads. Ich habe da eine Präferenz, aber die ist kontrovers und daher werde ich sie hier nicht ausführen… zumal wir unsere Proxmoxe nicht bei Hetzner haben.

Ich weis und für die Kommunikation der Server untereinander ist dies auch so bei uns eingerichtet.

Redundanz, genau das ist der Knackpunkt. Ich möchte ungern den gesamten IPv6 Traffic nur über einen Server laufen lassen, so das dieser zum Flaschenhals wird.

Wir stehen genau vor dem gleichen Problem. Es gibt aber wenn man nicht über einen dritten wie FFRL routen möchte, nicht für die Ausleitung über den vSwitch bezahlen und generell einigermaßen unabhängig bleiben möchte keine wirkliche Lösung.

Einzig NAT66 für den ausgehenden Traffic auf dem falschen Server wäre technisch eventuell machbar. Aber NAT66 ist eine wirkliche hässliche Sache.

1 „Gefällt mir“

Sehe ich nicht so, SNAT6 funktioniert. Halt nicht besser und schlechter als NAT4. Gibt leider viele Szenarien in denen SLAAC wichtiger ist als öffentliche IP-Adressen.
Aber a) hilft es gar nicht b) hat es mit Hetzner nicht zu tun, weil sich die frage hier nicht stellt, gibt doch genügend Prefixe und ein kostenneutrales Querrouting.
man muss sich die IPv6 prefixe halt nur EXTRA ordern im Vrack/Vlan und darf nicht das /64 des Bleches nehmen. Einfach weil da nicht genug Platz für SLAAC ist sobald man das durchreichen wollte an die Client-Domain.

Jetzt haben wir aber schon für jedes Blech nen extra /56 gebucht… 🤦