Unterstützung als ISP?

Freifunk Rheinland e.V. Rheinland Backbone
1

Liebe Freifunkerinnen und Freifunker,

da in einigen Artikeln hier schon über uns geschrieben wurde und einige Freifunk-Vereine bei uns Server mieten, dachten wir uns wir schauen uns einmal genauer an wie Freifunk funktioniert. Einige unserer Mitarbeiter stellen bereits privat Knoten bereit und sind starke Befürworter der Freifunk-Idee. Seit gestern haben wir an unserem Standort in Karlsruhe auch einen Knoten installiert.

Die Installation lief wirklich sehr einfach ab. Eure Dokumentationen sind super! Vielen Dank dafür!

Negativ fällt allerdings auf, dass das Netz kaum nutzbar ist. Golem.de braucht mehre Sekunden zum Laden, um ein Beispiel zu nennen. Woran liegt das? Kann dieses verbessert werden? Können wir als ISP eventuell dabei helfen?

Einige Freifunk-Vereine haben bei uns KVM-Server gemietet. Diese fallen bei uns regelmäßig im Netzwerkmonitoring durch Peaks von bis zu 1 GBit/s und mehrere TB Traffic / Monat auf. Zum Teil gibt es auch mehrere hundertausend Pakete / Sekunde, was das gesamte Netzwerk lahmlegen kann. Unser kostenloser DDoS-Flter schlägt hier nicht selten an. Das sind Spitzen die Kaum ein anderer Kunde von uns mit den preisgünstigen Produkten macht.

Woher rührt das? Kann das eine Fehlkonfiguration seitens des Mesh sein?

Um mit solcher Last nicht andere Kunden zu benachteiligen, suchen wir nach eine Lösung wie wir den Freifunk weiterhin unterstützen können. Unsere Idee ist es z.B. reine Nodes (in diesem Fall sind Server für KVM-Gäste gemeint) für Freifunk bereitzustellen. Wir sind sogar bereit die KVM-Server zum Selbstkostenpreis oder eventuell auch ganz kostenlos anzubieten, um generell den Freifunk zu unterstützen. Wir haben genügend ältere Hardware die für Freifunk aber ausreichen sollte.

Unsere Frage ist jetzt an euch, was für Hardware ihr benötigt. Welche Anbindung soll diese haben und zu welchem AS läuft der meiste Traffic (wenn wir den Traffic z.B. über unsere Peering-Partner abwickeln können, kostet uns dieser nichts extra). Wie viel Traffic erwartet ihr von einem KVM-Server?

In wie weit ist das Routen eines eigenen AS interessant?

Wir würden uns freuen wenn wir diesbezüglich ein paar Meinungen von euch erhalten können. Gerne unterstützen wir mit dem was wir können die Idee von Freifunk.

Viele Grüße aus Karlsruhe

Felix

20 „Gefällt mir“
2

Damit @netcup die Beiträge der Postenden einschätzen kann: Folgende Forenteilnehmer sind als Supernode-Admins aktiv:

Backbone:
thomasDOTwtf, takt , (synpusep)

Domäne Rheinufer:
cyrusfox, nomaster

Domäne Ruhrgebiet:
CHRlS, pberndro

Domäne Wupper:
phip, stefan, PetaByteBoy

Domäne Regio Aachen:
Sirius, MrMM, Shiva, monty

Domäne Möhne:
thomasDOTwtf

Domäne Albufer; Community Karlsruhe:
synpusep

Kann den Post ein Moderator zu einem Wiki machen? Bitte dann fehlende Verantwortliche und Domänen nachpflegen. Ansonsten PM an mich.

2 „Gefällt mir“
3

Hallo Zusammen!

Da ich bereits Kontakt mit den Leuten von netcup hatte, wurde ich die Kommunikation zwischen uns als Verein (FFRL) und Netcup übernehmen!
Es freut mich, dass netcup eine gewisse Bereitschaft zur Unterstützung zeigt ich werde Euch hier auf dem Laufende halten.

@yayachiken ich habe die Liste etwas korrigiert.

Gruß,
Philip

4

Hi Felix,

schön dass Du Dich meldest.

Im Falle des Rheinland und angeschlossener Domänen haben wir es grundsätzlich mit 3 Typen von Traffic zu tun.

  • VPN Traffic (fastd, UDP) von den lokalen Freifunk-Routern und fastd Offloadern
  • Quertraffic zwischen den Gateway Servern (idR GRE, GRETAP & fastd)
  • Traffic ins Rheinland Backbone AS201701

Bewusst werfen wir aktuell den Traffic bei euch nicht lokal ins Internet raus, um unsere eigenen IP-Adressen zu nutzen und so etwaige Abuse-Dinge direkt an uns, statt an euch laufen zu lassen.

Das Trafficvolumen ist immer stark abhängig von den eingewählten Routern und sowohl der Menge der Clients dahinter, wie auch deren „Verhalten“ und lässt sich nicht immer pauschal beantworten.

Mittlerweile dürfte gerade auch der Quertraffic einen Löwenanteil des Traffic ausmachen, da dieser eben zwischen den Servern in unterschiedlichen RZ läuft.

Durch unsere diversen bei euch angemieteten Root Server L und die maximale PPS Grenze von 30kpps haben wir seit geraumer Zeit generell auf jedem VPN Gateway die Menge der Tunnel auf 100-120 limitiert, so dass maximal 50-60 Router auf einem vServer eingewählt sein können.

Das ein vServer auf Gigabit peaked ist eigentlich für eine gewöhnliche Nutzung sehr unrealistisch - vorsichtig ausgedrückt läuft dann zumindest irgendwas nicht nach Plan.

Insgesamt ist die Last auf den CPU nicht unbedingt unerheblich, weshalb wir uns bei euch für das entsprechend potente Produkt entschieden hatten. Auf den Blechen, die wir selber virtualisieren haben wir allerdings einen besseren Überblick.

Als Beispiel aus der Praxis von einem unserer Hardware Server:

In sofern die Bandbreite erreichbar ist, lasten 8 VPN Gateways eine moderne Maschine (E5-1620) komplett aus und fabrizieren dabei 500 Mbit/s.

Beste Grüße

Chris

1 „Gefällt mir“
5

Vielen Dank für das Angebot.

Für Freifunk Vereine (den Freifunk Rheinland mal ausgenommen), die zwar bei der BNetzA ebenfalls als Provider gemeldet sind, aber kein eigenes AS betreiben gibt es in der Regel ein größeres Problem beim Ausleiten des Traffics: Das Abuse-Handling.
Gerne würden wir den Traffic direkt bei uns in Deutschland über unsere gemieteten IP Netze rauswerfen.
Unsere Erfahrung dabei ist aber, dass Hoster wir Ihr ziemlich schnell am Drücker sind wenn etwas außerhalb der Norm passiert (z.B. der Hoster erhält eine Abuse-Mitteilung).
Da aber aufgrund der Art unseres Netzes häufiger mal etwas kommt ist das natürlich unbrauchbar wenn schnell und ständig Gateways von uns lahmgelegt werden.
Andererseits ist mein Eindruck, dass man den Freifunk Vereinen nicht zutraut eigenes Abuse Handling zu betreiben.
Diese Tatsache wäre für mich akut die einzige Motivation überhaupt ein eigenes AS aufzubauen und LIR bei der RIPE zu werden um volle Kontrolle über meine RIPE Entries zu haben.

Ansonsten ist das zweite Problem natürlich der hohe Traffic. Aber bei einem WLAN Netz das häufig aus 200 und mehr Knoten (und damit hätte man dann vermutlich nur eine Community berücksichtigt) besteht ist ein hoher Traffic zu erwarten.
Insofern müsste man an der Stelle natürlich eine Einigung finden, die für beide Seiten passt. In unserem Fall, die kein eigenes Backbone haben, ist das Trafficprofil naturgemäß mit dem eines normalen Endkunden ISP vergleichbar, da wir ja letztendlich nichts anderes tun als Endkundentraffic in ein VPN zu packen und das dann am anderen Ende wieder rauszuwerfen.

1 „Gefällt mir“
6

Ich denke wenn es in der Rubrik Freifunk Rheinland e.V. > Rheinland Backbone steht ging es primär um Rheinland Backbone und den mittlerweile nicht unerheblichen Traffic den wir auch bei Netcup produzieren, zumal Karlsruhe unsere Domäne Albufer ist :wink:

1 „Gefällt mir“
7

Achso, hatte ich übersehen sorry. Dachte es wäre ein allgemeines Angebot an die gesamte Freifunk Gemeinde.

8

Ist es ja evtl. auch, das kann nur Felix beantworten, zumal über eine der Mailinglisten bereits was zu Netcup innerhalb der letzten Woche ging.

Wenn das allerdings ein offenes und allgemeines Angebot an alle Communities in D ist, dann würde der Aufwand kaum noch zu rechtfertigen sein, wenn dann jedes Örtchen mit 100 Routern nen ausgemustertes Blech vom Felix haben möchte - dann hat er was zu tun. :grin:

9

Hier ein kurzes Update:

Ich hatte gerade ein sehr angenehmes Gespräch mit dem Felix von @netcup.
Nach meinen letzen Versuchen der Kontaktaufnahme hat es jetzt gut geklappt und ich bin sehr optimistisch, dass wir eine gemeinsame Kooperation hinbekommen.

Wir werden uns jetzt weiter austauschen und planen wie eine gemeinsame Kooperation aussehen kann.
Es geht nicht nur um ein spezielles Angebot für den FFRL sondern auch für andere Freifunk Vereine.

Über den weiteren Verlauf informiere ich Euch natürlich.

Gruß,
Philip

8 „Gefällt mir“
10

@pberndro Das freut mich zu hören :smile:

@netcup

Schön, dass ihr hier vorbeischaut. Freifunk Nordwest hat momentan drei Supernodes von fünf bei euch, Traffic hauptsächlich zu den üblichen DSL-Providern und zu AS201701 sowie AS44194.

11

Wieso legen große PPS-Raten das Netzwerk lahm? Bei jeder halbwegsaktuellen Netzwerkhardware ist Dataplane und Controlplane getrennt. Das Packetforwarding ist Dataplane und da machen das ASICs in Hardware. Die CPU der Controlplane zuckt da nicht mal. Jenachdem wieviel $$ man in die Dataplane gesteckt hat (z.B. welcher Embedded Service Processor eingebaut ist) bekomme ich soundsoviel GB/s und PPS. Und die PPS-Kapazität liegt schon bei den kleinen Geräten im Bereich von Mega PPS. Wie da einige Kilo-PPS das Netzwerk niederschmelzen können ist mir unklar.

Anders natürlich bei den Servern. Ich kann mir gut vorstellen, dass einige Kilo-PPS den Hypervisor eines Servers auslasten können. Schließlich muss da ja jedes Paket durch die CPU. Dann sollte man aber faiereweise sagen, dass Virtualisierung für diesen Use-Case ungeeignet ist, und das man lieber richtige Hardware verwenden sollte.

12

Blech ohne Virtualisierung hat sich bei uns übrigens nicht bewährt.

1 „Gefällt mir“
13

Um diese Beobachtung einschätzen zu können, würde mich interessieren, in welcher Domäne/Community euer FF-Router läuft.

14

Bei den Freifunkern aus Karlsruhe - http://www.freifunk-karlsruhe.de/

15

[quote=„pberndro, post:9, topic:5015“]
Es geht nicht nur um ein spezielles Angebot für den FFRL sondern auch für andere Freifunk Vereine.[/quote]

Das hört man gerne, fragt sich, ob der Thread dann verschoben werden sollte; FFRL-fremde Meldungen wurden ja schon moniert …

@netcup:

Wie schon dargelegt im Thread, solche Peaks können auftreten (auch wenn wir derlei bislang nicht gesehen haben), und prinzipiell machen Freifunk-Gateways viel Traffic: zw. 8 und 20 MBit/sec je Knoten (Freifunk-Router) je nach Anbindung und CPU. Lies: Ziel ist schon, das GBit der Serveranbindung auch zeitweise auszulasten …

Für uns (Freifunk-Initiative Gütersloh, kein Verein) wären VMs als GWs interessant, außerdem lokaler IPv4-Exit. Derzeit haben wir als Freifunk GT 1 DL380G5 in einem RZ in Gütersloh stehen und nutzen 3 weitere mit; die VMs (derzeit 4 GW-VMs im Einsatz; 2 CPU, 2 GB RAM, 20 GB HDD) machen im Tagesmittel 30 MBit/sec auf eth0, ein Großteil davon ist Verwaltungsoverhead, Nutzdaten sich ca. 10 MBit/sec je GW. Derzeit, Tendenz spürbar steigend. Ein zweiter Anbieter, der dem Thema aufgeschlossen gegenübersteht und nicht gleich bei jeder Anomalie den Stecker zieht, wäre uns sehr wichtig (Redundanz). Aber, das muß klar sein: Traffic entsteht nicht zu knapp. Die Knoten stehen bei uns überwiegend im Telekom- und Unitymedia-Netz, z. T. noch Telefónica und lokale Anbieter => damit findet das Gros des Verkehrs statt.

16

[quote=„CHRlS, post:12, topic:5015“]
Blech ohne Virtualisierung hat sich bei uns übrigens nicht bewährt.[/quote]

Kannst/Magst Du das etwas konkreter ausführen? Auf 4 Kernen sollten theoretisch 3 fastd besser laufen als 3x fastd in 1-CPU-VMs, da der ganze VM-Overhead (fastd ist ja primär CPU & Netz) wegfällt, ebenso reicht 1 Uplink statt 3; ich wollte eigentlich dafür demnächst mal 'ne Kiste testweise mieten … Wäre interessant/hilfreich zu wissen, was Eure Probleme waren, ggf. in neuem Thread.

Im Grunde läuft es darauf hinaus, das eine Freifunk-Community immer ein Blech von @netcup mietet und dort selbst hypervisiert. Falls sie dann z. B. Kreuztausch mit anderer Community machen (um Auswirkungen von HW-Ausfall zu begegnen), ist das ggf. resultierende Performanceproblem ihres, nicht das von Netcup.

17

Wir (Freifunk gl.Wupper, Untergruppe der Domäne Wupper) haben keine Gateways, aber eine VM für einige interne Services bei euch. Dort wird DNS bereitgestellt und die Karte berechnet. Durch die Anbindung fließt wegen dem Mesh über VPN auch eine kleine Menge an Dauerbelastung. Ich denke aber nicht dass solche „Service-VMs“ ausschlaggebend sind oder bei einem solchen Angebot mit einbezogen werden sollten.

MfG PetaByteBoy

18

Vielen Dank für die sehr große Resonanz.

Ich hatte ein sehr ausführliches Gespräch mit pberndro.

Geplant ist das wir spezielle Angebote für Freifunk-Vereine machen. Hierbei ist folgendes zu berücksichtigen:

  1. Günstige Preise oder gar keine Kosten
  2. Bereitstellung von VPS mit zugeschnittenen Leistungsanforderungen (kleine Festplatte, gute CPU-Leistung für AES, ca. 1 GB RAM, viel Netzwerkbandbreite)
  3. Abschaltung oder Anpassung des von uns kostenlosen DDoS-Filter für diese VPS, damit auch eine hohe Paketanzahl keine Gegenmaßnahme ergreift.
  4. Dedizierte Hardware nur für Freifunk, damit im Fall einer Beschlagnahme von Hardware durch Ermittlungsbehörden keine Ersatz-Forderungen von anderen betroffenen Kunden gegen den verantwortlichen Freifunk-Verein gestellt wird. Zudem müssen sich die beteiligten Freifunk-Vereine untereinander von Haftungsansprüchen freistellen.
  5. Eigenes Abuse-Management durch die Vereine.
  6. Eigenes VLAN für die Supernode-Kommunikation

Aktuell wird geklärt wie die VPS im Detail aussehen müssen, was wir für Hardware haben die dafür eingesetzt werden kann und wer die Kosten trägt. Auch muss ich hier intern abklären wie sich die oben genannten Anforderungen umsetzen lassen.

Eine kleine Bitte hätte ich noch: Ich habe hier bewusst im Forum den Beitrag gestartet, damit alle die Kommunikation und Planungen verfolgen können. Von einigen wurde ich jetzt auch gezielt angeschrieben. Wenn ich die ganzen Mails beantworten müsste, hätte ich keine Zeit mehr meiner eigentlichen Arbeit nachzugehen. Bitte verlagert daher keine Kommunikation zu meinen E-Mail-Adresse oder zu meinen Mitarbeitern.

Vielen Dank!

Beste Grüße

Felix

18 „Gefällt mir“
19

Etliche Freifunk Vereine sind anerkannt gemeinnützig.

Es kann also interessant sein, derartiges nicht über reduzierte Preise, sonder mittels Spendenbescheinigung über den Regulären Rechnungsbetrag den ihr für vergleichbare Produkte nehmt zu lösen.

20

Ja, das werden wir abwägen müssen. Zuerst muss geklärt werden, was überhaupt an Kosten anfällt.

Viele Grüße