Gluon in Unraid, allgmeine Offloader und Fastd-Diskussion

TimHB · 23. Juli 2023 um 16:01

das hat bei mir nicht funktioniert, ich kam nicht auf die 192.168.1.1

Das habe ich jetzt nicht gemacht und büße das mit einer Console, in der ich nichts kopieren kann.

Ansonsten habe ich ja direkten Zugriff über die Unraid WEB-UI. Ich baue eine direkte shell via VLC auf, daher dachte ich das würde reichen. Habe ja administrativen Zugriff, den man eh immer nur 1x braucht und ich deshalb sonst eh immer vergesse (wenns läuft, dann läufts ja auch)
Ich werde im nächsten Konfig Mode aber einen key hinterlassen, das mit dem CnP gefällt mir nicht.

Key ist drauf und ich habe statt der „testing“ firmware nochmal die „stable“ 2019 gehauen (VM gleiche FW Verson wie 4040).
Frei aus dem Netz kam ich über die IPv6 (die ich aus der Karte hatte) nicht drauf, aber nun via mesh on WAN und somit freie LAN ports über einen LAN Port … ich bin jetzt drauf

Auch mit gleicher FW Version keine Änderung, die 4040 Verbindungen gehen nicht raus.

root@4040:~# brctl show
bridge name     bridge id               STP enabled     interfaces
br-client               7fff.2c3afd1855f9       no              eth0
                                                        local-port
                                                        bat0
                                                        client0
                                                        client1
br-wan          7fff.e2231e3a7008       no              eth1

root@4040:~# ping google.de
ping: bad address 'google.de'

root@4040:~# batctl if
primary0: active
mesh0: active
mesh1: active
vx_mesh_wan: active

root@4040:~# batctl gwl
[B.A.T.M.A.N. adv openwrt-2018.1-13, MainIF/MAC: primary0/e2:23:1e:3a:70:0b (bat0/2c:3a:fd:18:55:f9 BATMAN_IV)]
  Router            ( TQ) Next Hop          [outgoingIf]  Bandwidth
  4e:b1:8a:d9:80:36 (146) 1e:d8:b5:72:ff:34 [vx_mesh_wan]: 100.0/100.0 MBit
  46:bc:50:0e:02:c2 (145) 1e:d8:b5:72:ff:34 [vx_mesh_wan]: 100.0/100.0 MBit
* 9e:9b:0e:b0:b7:fd (236) 1e:d8:b5:72:ff:34 [vx_mesh_wan]: 100.0/100.0 MBit
  c2:be:cd:f0:8c:8f (146) 1e:d8:b5:72:ff:34 [vx_mesh_wan]: 100.0/100.0 MBit

root@4040:~# ip addr show
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host
       valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq master br-client state UP qlen 1000
    link/ether 2c:3a:fd:18:55:f9 brd ff:ff:ff:ff:ff:ff
3: eth1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq master br-wan state UP qlen 1000
    link/ether 2c:3a:fd:18:55:fa brd ff:ff:ff:ff:ff:ff
4: dummy0: <BROADCAST,NOARP> mtu 1500 qdisc noop state DOWN qlen 1000
    link/ether 42:cc:f1:6f:a1:95 brd ff:ff:ff:ff:ff:ff
5: teql0: <NOARP> mtu 1500 qdisc noop state DOWN qlen 100
    link/void
8: br-client: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP qlen 1000
    link/ether 2c:3a:fd:18:55:f9 brd ff:ff:ff:ff:ff:ff
    inet6 2a06:8782:ffbb:42:2e3a:fdff:fe18:55f9/64 scope global dynamic
       valid_lft 86396sec preferred_lft 14396sec
    inet6 fd2f:5119:f2c::2e3a:fdff:fe18:55f9/64 scope global dynamic
       valid_lft 86396sec preferred_lft 14396sec
    inet6 fe80::2e3a:fdff:fe18:55f9/64 scope link
       valid_lft forever preferred_lft forever
9: br-wan: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP qlen 1000
    link/ether e2:23:1e:3a:70:08 brd ff:ff:ff:ff:ff:ff
    inet6 fe80::e023:1eff:fe3a:7008/64 scope link
       valid_lft forever preferred_lft forever
10: local-port@local-node: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master br-client state UP qlen 1000
    link/ether 2c:3a:fd:18:55:f9 brd ff:ff:ff:ff:ff:ff
11: local-node@local-port: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP qlen 1000
    link/ether 16:41:95:40:f7:dc brd ff:ff:ff:ff:ff:ff
    inet 10.196.0.127/17 brd 10.196.127.255 scope global local-node
       valid_lft forever preferred_lft forever
    inet6 fd2f:5119:f2c::127/128 scope global deprecated
       valid_lft forever preferred_lft 0sec
    inet6 fe80::1441:95ff:fe40:f7dc/64 scope link
       valid_lft forever preferred_lft forever
12: primary0: <BROADCAST,NOARP,UP,LOWER_UP> mtu 1532 qdisc noqueue master bat0 state UNKNOWN qlen 1000
    link/ether e2:23:1e:3a:70:0b brd ff:ff:ff:ff:ff:ff
    inet6 fe80::e023:1eff:fe3a:700b/64 scope link
       valid_lft forever preferred_lft forever
14: bat0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master br-client state UNKNOWN qlen 1000
    link/ether 2c:3a:fd:18:55:f9 brd ff:ff:ff:ff:ff:ff
    inet6 fe80::2e3a:fdff:fe18:55f9/64 scope link
       valid_lft forever preferred_lft forever
15: mesh0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1532 qdisc noqueue master bat0 state UP qlen 1000
    link/ether e2:23:1e:3a:70:09 brd ff:ff:ff:ff:ff:ff
    inet6 fe80::e023:1eff:fe3a:7009/64 scope link
       valid_lft forever preferred_lft forever
16: mesh1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1532 qdisc noqueue master bat0 state UP qlen 1000
    link/ether e2:23:1e:3a:70:0d brd ff:ff:ff:ff:ff:ff
    inet6 fe80::e023:1eff:fe3a:700d/64 scope link
       valid_lft forever preferred_lft forever
17: client0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master br-client state UP qlen 1000
    link/ether e2:23:1e:3a:70:08 brd ff:ff:ff:ff:ff:ff
    inet6 fe80::e023:1eff:fe3a:7008/64 scope link
       valid_lft forever preferred_lft forever
18: client1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master br-client state UP qlen 1000
    link/ether e2:23:1e:3a:70:0c brd ff:ff:ff:ff:ff:ff
    inet6 fe80::e023:1eff:fe3a:700c/64 scope link
       valid_lft forever preferred_lft forever
19: vx_mesh_wan: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1430 qdisc noqueue master bat0 state UNKNOWN qlen 1000
    link/ether e2:23:1e:3a:70:08 brd ff:ff:ff:ff:ff:ff
    inet6 fe80::e023:1eff:fe3a:7008/64 scope link
       valid_lft forever preferred_lft forever

VM:

root@unraid-vm:~# brctl show
bridge name     bridge id               STP enabled     interfaces
br-wan          7fff.1ed8b572ff30       no              eth1
br-client               7fff.5254002dec7a       no              local-port
                                                        bat0

root@unraid-vm:~# batctl if
primary0: active
vx_mesh_lan: active
mesh-vpn: active

root@unraid-vm:~# batctl gwl
[B.A.T.M.A.N. adv openwrt-2018.1-13, MainIF/MAC: primary0/1e:d8:b5:72:ff:33 (bat0/52:54:00:2d:ec:7a BATMAN_IV)]
  Router            ( TQ) Next Hop          [outgoingIf]  Bandwidth
  c2:be:cd:f0:8c:8f ( 62) 36:ca:26:e1:f9:ff [  mesh-vpn]: 100.0/100.0 MBit
  4e:b1:8a:d9:80:36 ( 62) 36:ca:26:e1:f9:ff [  mesh-vpn]: 100.0/100.0 MBit
  46:bc:50:0e:02:c2 ( 62) 36:ca:26:e1:f9:ff [  mesh-vpn]: 100.0/100.0 MBit
* 9e:9b:0e:b0:b7:fd (101) 36:ca:26:e1:f9:ff [  mesh-vpn]: 100.0/100.0 MBit

root@unraid-vm:~# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host
       valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP qlen 1000
    link/ether 1e:d8:b5:72:ff:34 brd ff:ff:ff:ff:ff:ff
    inet6 fe80::1cd8:b5ff:fe72:ff34/64 scope link
       valid_lft forever preferred_lft forever
3: dummy0: <BROADCAST,NOARP> mtu 1500 qdisc noop state DOWN qlen 1000
    link/ether d2:60:6b:5e:36:85 brd ff:ff:ff:ff:ff:ff
4: eth1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel master br-wan state UP qlen 1000
    link/ether 52:54:00:b9:19:71 brd ff:ff:ff:ff:ff:ff
5: teql0: <NOARP> mtu 1500 qdisc noop state DOWN qlen 100
    link/void
6: br-wan: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP qlen 1000
    link/ether 1e:d8:b5:72:ff:30 brd ff:ff:ff:ff:ff:ff
    inet 192.168.178.52/24 brd 192.168.178.255 scope global br-wan
       valid_lft forever preferred_lft forever
    inet6 fe80::1cd8:b5ff:fe72:ff30/64 scope link
       valid_lft forever preferred_lft forever
7: local-port@local-node: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master br-client state UP qlen 1000
    link/ether 52:54:00:2d:ec:7a brd ff:ff:ff:ff:ff:ff
8: local-node@local-port: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP qlen 1000
    link/ether 16:41:95:40:f7:dc brd ff:ff:ff:ff:ff:ff
    inet 10.196.0.127/17 brd 10.196.127.255 scope global local-node
       valid_lft forever preferred_lft forever
    inet6 fd2f:5119:f2c::127/128 scope global deprecated
       valid_lft forever preferred_lft 0sec
    inet6 fe80::1441:95ff:fe40:f7dc/64 scope link
       valid_lft forever preferred_lft forever
9: br-client: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP qlen 1000
    link/ether 52:54:00:2d:ec:7a brd ff:ff:ff:ff:ff:ff
    inet6 2a06:8782:ffbb:42:5054:ff:fe2d:ec7a/64 scope global dynamic
       valid_lft 86351sec preferred_lft 14351sec
    inet6 fd2f:5119:f2c::5054:ff:fe2d:ec7a/64 scope global dynamic
       valid_lft 86351sec preferred_lft 14351sec
    inet6 fe80::5054:ff:fe2d:ec7a/64 scope link
       valid_lft forever preferred_lft forever
10: primary0: <BROADCAST,NOARP,UP,LOWER_UP> mtu 1532 qdisc noqueue master bat0 state UNKNOWN qlen 1000
    link/ether 1e:d8:b5:72:ff:33 brd ff:ff:ff:ff:ff:ff
    inet6 fe80::1cd8:b5ff:fe72:ff33/64 scope link
       valid_lft forever preferred_lft forever
11: bat0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master br-client state UNKNOWN qlen 1000
    link/ether 52:54:00:2d:ec:7a brd ff:ff:ff:ff:ff:ff
    inet6 fe80::5054:ff:fe2d:ec7a/64 scope link
       valid_lft forever preferred_lft forever
12: vx_mesh_lan: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1430 qdisc noqueue master bat0 state UNKNOWN qlen 1000
    link/ether 1e:d8:b5:72:ff:34 brd ff:ff:ff:ff:ff:ff
    inet6 fe80::1cd8:b5ff:fe72:ff34/64 scope link
       valid_lft forever preferred_lft forever
13: mesh-vpn: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1280 qdisc fq_codel master bat0 state UNKNOWN qlen 1000
    link/ether 1e:d8:b5:72:ff:37 brd ff:ff:ff:ff:ff:ff
    inet6 fe80::1cd8:b5ff:fe72:ff37/64 scope link
       valid_lft forever preferred_lft forever

ich finde ja das sieht eigentlich gut aus bzw. sehe ich den Fehler nicht … die 4040 hat als Next Hop den Dongle von der VM und der liegt auch auf vx_mesh_lan … die VM hat connection, da kann ich pingen

Dennoch bleibt der Knoten dunkel

wusel · 23. Juli 2023 um 20:59

Du hattest aber schon vorher dem entspr. brsomething-Interface im Unraid eine IP aus 192.168.1.0/24 gegeben und sichergestellt, daß Du keine andere Route dahin hattest?

Wie gesagt, wenn man es korrekt konfiguriert, tut dies bei der FFHB-stable-FW und 08/15-libvirt …

Das funktioniert nicht. Ein Knoten ohne WAN hat kein IPv4-Routing. Wenn, dann ping -6/ping6 (dunno, was OpenWrt/Gluon da an Bord hat).

root@4040:~# batctl gwl
[B.A.T.M.A.N. adv openwrt-2018.1-13, MainIF/MAC: primary0/e2:23:1e:3a:70:0b (bat0/2c:3a:fd:18:55:f9 BATMAN_IV)]
  Router            ( TQ) Next Hop          [outgoingIf]  Bandwidth
  4e:b1:8a:d9:80:36 (146) 1e:d8:b5:72:ff:34 [vx_mesh_wan]: 100.0/100.0 MBit
  46:bc:50:0e:02:c2 (145) 1e:d8:b5:72:ff:34 [vx_mesh_wan]: 100.0/100.0 MBit
* 9e:9b:0e:b0:b7:fd (236) 1e:d8:b5:72:ff:34 [vx_mesh_wan]: 100.0/100.0 MBit
  c2:be:cd:f0:8c:8f (146) 1e:d8:b5:72:ff:34 [vx_mesh_wan]: 100.0/100.0 MBit

root@unraid-vm:~# batctl gwl
[B.A.T.M.A.N. adv openwrt-2018.1-13, MainIF/MAC: primary0/1e:d8:b5:72:ff:33 (bat0/52:54:00:2d:ec:7a BATMAN_IV)]
  Router            ( TQ) Next Hop          [outgoingIf]  Bandwidth
  c2:be:cd:f0:8c:8f ( 62) 36:ca:26:e1:f9:ff [  mesh-vpn]: 100.0/100.0 MBit
  4e:b1:8a:d9:80:36 ( 62) 36:ca:26:e1:f9:ff [  mesh-vpn]: 100.0/100.0 MBit
  46:bc:50:0e:02:c2 ( 62) 36:ca:26:e1:f9:ff [  mesh-vpn]: 100.0/100.0 MBit
* 9e:9b:0e:b0:b7:fd (101) 36:ca:26:e1:f9:ff [  mesh-vpn]: 100.0/100.0 MBit

Das sieht korrekt aus. Batman auf der 4040 hat eine Verbindung über vx_mesh_wan zur VM, jene über mesh-vpn eine zu einem FFHB-Gateway — allerdings einem anderen, 9e:9b:0e:b0:b7:fd, als ich vorhin, 4e:b1:8a:d9:80:36. Rein theoretisch könnte auch dort was putt sein, ist halt die Frage, ob Du immer auf 9e… warst.

AFAICS ist das aktuelle Setup korrekt, das müßte™ eigentlich funktionieren bzw. tat es ja bei mir früher am Tag. Bliebe nur noch, auf unraid-vm in /etc/config/fastd einzelne Gateways zu deaktivieren (vi /etc/config/fastd - z. B. den Port von 50000 auf 5000 bei allen außer einem fastd-Peer ändern – und dann reboot (/etc/init.d/fastd restart geht evtl. auch und schneller). Alle Peers durchprobieren — und jeweils etwas warten (2-5 Minuten): bis ich die erste DHCP-Antwort (sprich: eine FFHB-IPv4-IP) am Client bekam, dauerte heute Mittag auch recht lange, während die öffentliche IPv6-Adresse schon längst da war.

TimHB · 23. Juli 2023 um 21:17

Ich muss die NICs einer Bridge zuteilen, weil wenn ich das nicht mache, ich die NIC nicht für die VMs nutzen/auswählen kann.
Die onboard nic bekommt für das Unraid System via DHCP eine Adresse aus dem Heimnetz und die FF-VM via br0 auch. Halt wie ein FF-Knoten.
Den Dengle habe ich folglich auch als br1 eingebunden.
Beide NICs stehen auf „Auto“ also DHCP.

Wenn nichts am Dongle hängt, bleibt das blank, der bekommt nichts. Wenn der FF-Knoten da dran hängt geht der Dongle in 169.254.133.4 und al gateway steht da „link“ … ich hab das schon versucht zu googlen, bin mir aber nicht sicher ob das einfach nur 0.0.0.0. ist
Das netz selber habe ich nirgendwo konfiguriert, also das br1 auf 169.254.0.0 läuft

das hier ist das Regelwerk:

Protocol	  Route	             Gateway	            Metric
IPv4	      default	      192.168.178.1 via br0 	1007	
IPv4	      default	      br1 via link	            1001036	
IPv4	    169.254.0.0/16	  br1	                        1036	
IPv4	    172.17.0.0/16	  docker0	                    1	
IPv4	    192.168.122.0/24  virbr0	                1	
IPv4	    192.168.178.0/24  br0	                    1007

ich kann neue Regeln hinzufügen oder bestehende löschen, wenn die nicht zwangsläufig nötig sind (dann sidn die nicht löschbar)

und so sieht das aus mit angeschlossenem Knoten bei dem Dongle

nein, jetzt z.B. 4e:b1

Ich bekomme auch nach Stunden keine v4
Also das schließe ich aus (eine bekommen zu können momentan) bzw. ist Teil des Problems.

Keine Besserung

ich habe mal alle außer einem VPN Gateways beschnitten und rebootet, dann bekomme ich aber mit batctl gwl keine Gateways mehr angezeigt.

wusel · 24. Juli 2023 um 01:12

Whataboutism

Wenn Du 192.168.1.1 erreichen willst, mußt Du über das entsprechende Interface eine Route zu 192.168.1.0/24 konfiguriert haben. Manuell. Beispielsweise:

Sonst:

Irgendein Automatismus baut dann bei Dir Scheiße. Und was ist »der Dongle«? Kein Interface in einer Bridge darf eine eigene IP-Konfiguration haben, sonst Essig. Bitte sprich in Interfacenamen, wenn Dir geholfen werden soll.

NICs in einer Bridge stehen auf „manual“, i. e. finden in der Konfiguration nicht statt.

Wo immer die Ausgabe herkommt, keine Route zu 192.168.1.0/24 => kein Wunder, daß:

⇒ Zeit, Dich mit Deinem Problem an die lokalen Admins zu wenden. Seriously.

adorfer · 25. Juli 2023 um 01:36

Ich würde vorschlagen, mit einer Virtualisierung zu arbeiten, die man entweder selbst wirklich versteht oder die so bekannt/verbreitet ist, dass andere helfen können.
Ich tippe darauf, dass dieses „unraid“ das durchaus kann was benötigt wird, aber schlicht das Knowhow fehlt.
Bei qemu/KVM, VirtualBox oder notfalls auch esxi gibt es Tutorials, wenn das Basisverständnis von L2/L3-Dingen fehlt.