FFNW BB Debugging

Technik FFRL Backbone
9

root@bb-b.fra2.fra.de.ffrl.de ~ # telnet 2a03:2260:0:35d::2 179
Trying 2a03:2260:0:35d::2…
Connected to 2a03:2260:0:35d::2.
Escape character is ‚^]‘.
Connection closed by foreign host.

Wieder instant zu nachdem es beim vorherigen Versuch mal kurz offen geblieben ist.

10

Das ist aber mächtig komisch, wie kann der Port zu sien wenn wir uns über v4 über den gleichen unterhalten?

Mach ich das zu eurer Seite, bricht die verbindung auch direkt ab :wink:

11

Der IPv4 und der IPv6 TCP Port 179 sind unabhängig voneinainder. Die haben nichts miteinander zu tun.

Hier mal ein TCPdump:
root@bb-b.fra2.fra.de.ffrl.de ~ # tcpdump -n -i tun-ffnw-srv12 host 2a03:2260:0:35d::1
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on tun-ffnw-srv12, link-type LINUX_SLL (Linux cooked), capture size 262144 bytes
14:58:11.549644 IP6 2a03:2260:0:35d::1.43642 > 2a03:2260:0:35d::2.179: Flags [S], seq 1687196440, win 26800, options [mss 1340,sackOK,TS val 406022771 ecr 0,nop,wscale 7], length 0
14:58:11.569725 IP6 2a03:2260:0:35d::1.43642 > 2a03:2260:0:35d::2.179: Flags [.], ack 3622802651, win 210, options [nop,nop,TS val 406022776 ecr 38889], length 0
14:58:11.569765 IP6 2a03:2260:0:35d::1.43642 > 2a03:2260:0:35d::2.179: Flags [P.], seq 0:51, ack 1, win 210, options [nop,nop,TS val 406022776 ecr 38889], length 51: BGP, length: 51
14:58:11.589893 IP6 2a03:2260:0:35d::1.43642 > 2a03:2260:0:35d::2.179: Flags [.], ack 2, win 210, options [nop,nop,TS val 406022781 ecr 38894], length 0
14:58:11.589940 IP6 2a03:2260:0:35d::1.43642 > 2a03:2260:0:35d::2.179: Flags [F.], seq 51, ack 2, win 210, options [nop,nop,TS val 406022781 ecr 38894], length 0
14:58:15.549995 IP6 2a03:2260:0:35d::1.43698 > 2a03:2260:0:35d::2.179: Flags [S], seq 1419286592, win 26800, options [mss 1340,sackOK,TS val 406023772 ecr 0,nop,wscale 7], length 0
14:58:15.569444 IP6 2a03:2260:0:35d::1.43698 > 2a03:2260:0:35d::2.179: Flags [.], ack 99612436, win 210, options [nop,nop,TS val 406023776 ecr 39890], length 0
14:58:15.569476 IP6 2a03:2260:0:35d::1.43698 > 2a03:2260:0:35d::2.179: Flags [P.], seq 0:51, ack 1, win 210, options [nop,nop,TS val 406023776 ecr 39890], length 51: BGP, length: 51
14:58:15.588871 IP6 2a03:2260:0:35d::1.43698 > 2a03:2260:0:35d::2.179: Flags [F.], seq 51, ack 2, win 210, options [nop,nop,TS val 406023781 ecr 39894], length 0
14:58:20.546035 IP6 2a03:2260:0:35d::1.43782 > 2a03:2260:0:35d::2.179: Flags [S], seq 701583473, win 26800, options [mss 1340,sackOK,TS val 406025021 ecr 0,nop,wscale 7], length 0
14:58:20.565652 IP6 2a03:2260:0:35d::1.43782 > 2a03:2260:0:35d::2.179: Flags [.], ack 940702130, win 210, options [nop,nop,TS val 406025025 ecr 41138], length 0
14:58:20.565771 IP6 2a03:2260:0:35d::1.43782 > 2a03:2260:0:35d::2.179: Flags [P.], seq 0:51, ack 1, win 210, options [nop,nop,TS val 406025025 ecr 41138], length 51: BGP, length: 51
14:58:24.616400 IP6 2a03:2260:0:35d::1.43864 > 2a03:2260:0:35d::2.179: Flags [S], seq 1086845339, win 26800, options [mss 1340,sackOK,TS val 406026038 ecr 0,nop,wscale 7], length 0
14:58:24.635825 IP6 2a03:2260:0:35d::1.43864 > 2a03:2260:0:35d::2.179: Flags [.], ack 4147909740, win 210, options [nop,nop,TS val 406026043 ecr 42156], length 0
14:58:24.635879 IP6 2a03:2260:0:35d::1.43864 > 2a03:2260:0:35d::2.179: Flags [P.], seq 0:51, ack 1, win 210, options [nop,nop,TS val 406026043 ecr 42156], length 51: BGP, length: 51
14:58:24.655188 IP6 2a03:2260:0:35d::1.43864 > 2a03:2260:0:35d::2.179: Flags [.], ack 2, win 210, options [nop,nop,TS val 406026048 ecr 42161], length 0
14:58:24.655252 IP6 2a03:2260:0:35d::1.43864 > 2a03:2260:0:35d::2.179: Flags [F.], seq 51, ack 2, win 210, options [nop,nop,TS val 406026048 ecr 42161], length 0
^C
17 packets captured
26 packets received by filter
0 packets dropped by kernel

Ich sehe keine Antwort kommen. Kannst du mal bitte bei dir dumpen?

12 
listening on gre-ffrl-fra-b, link-type LINUX_SLL (Linux cooked), capture size 262144 bytes
15:04:19.495143 IP6 2a03:2260:0:35d::1.50018 > 2a03:2260:0:35d::2.bgp: Flags [S], seq 2551849558, win 26800, options [mss 1340,sackOK,TS val 406114757 ecr 0,nop,wscale 7], length 0
15:04:19.515235 IP6 2a03:2260:0:35d::1.50018 > 2a03:2260:0:35d::2.bgp: Flags [.], ack 2185820854, win 210, options [nop,nop,TS val 406114762 ecr 130875], length 0
15:04:19.515355 IP6 2a03:2260:0:35d::1.50018 > 2a03:2260:0:35d::2.bgp: Flags [P.], seq 0:51, ack 1, win 210, options [nop,nop,TS val 406114762 ecr 130875], length 51: BGP
15:04:19.535202 IP6 2a03:2260:0:35d::1.50018 > 2a03:2260:0:35d::2.bgp: Flags [.], ack 2, win 210, options [nop,nop,TS val 406114767 ecr 130880], length 0
15:04:19.535270 IP6 2a03:2260:0:35d::1.50018 > 2a03:2260:0:35d::2.bgp: Flags [F.], seq 51, ack 2, win 210, options [nop,nop,TS val 406114767 ecr 130880], length 0
15:04:23.805711 IP6 2a03:2260:0:35d::1.50088 > 2a03:2260:0:35d::2.bgp: Flags [S], seq 3062443566, win 26800, options [mss 1340,sackOK,TS val 406115834 ecr 0,nop,wscale 7], length 0
15:04:23.824990 IP6 2a03:2260:0:35d::1.50088 > 2a03:2260:0:35d::2.bgp: Flags [.], ack 712392325, win 210, options [nop,nop,TS val 406115839 ecr 131953], length 0
15:04:23.825291 IP6 2a03:2260:0:35d::1.50088 > 2a03:2260:0:35d::2.bgp: Flags [P.], seq 0:51, ack 1, win 210, options [nop,nop,TS val 406115839 ecr 131953], length 51: BGP
15:04:23.844388 IP6 2a03:2260:0:35d::1.50088 > 2a03:2260:0:35d::2.bgp: Flags [F.], seq 51, ack 2, win 210, options [nop,nop,TS val 406115844 ecr 131957], length 0
15:04:28.509310 IP6 2a03:2260:0:35d::1.50176 > 2a03:2260:0:35d::2.bgp: Flags [S], seq 2526649341, win 26800, options [mss 1340,sackOK,TS val 406117010 ecr 0,nop,wscale 7], length 0
15:04:28.528650 IP6 2a03:2260:0:35d::1.50176 > 2a03:2260:0:35d::2.bgp: Flags [.], ack 2090384464, win 210, options [nop,nop,TS val 406117015 ecr 133128], length 0
15:04:28.528675 IP6 2a03:2260:0:35d::1.50176 > 2a03:2260:0:35d::2.bgp: Flags [P.], seq 0:51, ack 1, win 210, options [nop,nop,TS val 406117015 ecr 133128], length 51: BGP
15:04:31.384320 IP 100.64.6.115.48073 > 100.64.6.114.bgp: Flags [P.], seq 2332643319:2332643338, ack 3634880599, win 22, options [nop,nop,TS val 133847 ecr 406104254], length 19: BGP
15:04:31.389191 IP 100.64.6.114.bgp > 100.64.6.115.48073: Flags [.], ack 19, win 211, options [nop,nop,TS val 406117730 ecr 133847], length 0
15:04:33.633611 IP6 2a03:2260:0:35d::1.50266 > 2a03:2260:0:35d::2.bgp: Flags [S], seq 2879858318, win 26800, options [mss 1340,sackOK,TS val 406118291 ecr 0,nop,wscale 7], length 0
15:04:33.664703 IP6 2a03:2260:0:35d::1.50266 > 2a03:2260:0:35d::2.bgp: Flags [.], ack 2393577900, win 210, options [nop,nop,TS val 406118299 ecr 134410], length 0
15:04:33.664827 IP6 2a03:2260:0:35d::1.50266 > 2a03:2260:0:35d::2.bgp: Flags [P.], seq 0:51, ack 1, win 210, options [nop,nop,TS val 406118299 ecr 134410], length 51: BGP
15:04:33.686343 IP6 2a03:2260:0:35d::1.50266 > 2a03:2260:0:35d::2.bgp: Flags [.], ack 2, win 210, options [nop,nop,TS val 406118304 ecr 134417], length 0
15:04:33.686494 IP6 2a03:2260:0:35d::1.50266 > 2a03:2260:0:35d::2.bgp: Flags [F.], seq 51, ack 2, win 210, options [nop,nop,TS val 406118305 ecr 134417], length 0
15:04:37.473727 IP6 2a03:2260:0:35d::1.50338 > 2a03:2260:0:35d::2.bgp: Flags [S], seq 1750007639, win 26800, options [mss 1340,sackOK,TS val 406119251 ecr 0,nop,wscale 7], length 0
15:04:37.493097 IP6 2a03:2260:0:35d::1.50338 > 2a03:2260:0:35d::2.bgp: Flags [.], ack 2202354983, win 210, options [nop,nop,TS val 406119256 ecr 135370], length 0
15:04:37.493117 IP6 2a03:2260:0:35d::1.50338 > 2a03:2260:0:35d::2.bgp: Flags [P.], seq 0:51, ack 1, win 210, options [nop,nop,TS val 406119256 ecr 135370], length 51: BGP
13

Okay, unsere Pakete kommen also zu dir. Allerdings sehe ich keine Antwort?

14

Jo, und das wundert mich.
Siehst du mögliche Ansatzpuntke was wir mal checken könnten? Was mich wundert, das es bei 2 Servern auftritt.

Edit: Die einzige BGP die UP ist, ist zu BER-a, keine Ahnung warum.

15:19:10.580051 IP6 2a03:2260::3 > 2a03:2260:0:35d::2: ICMP6, time exceeded in-transit for 2a03:2260:0:35d::1, length 129
15:19:10.792806 IP6 2a03:2260::3 > 2a03:2260:0:35d::2: ICMP6, time exceeded in-transit for 2a03:2260:0:35d::1, length 99
15:19:11.016833 IP6 2a03:2260::3 > 2a03:2260:0:35d::2: ICMP6, time exceeded in-transit for 2a03:2260:0:35d::1, length 148
15:19:11.479526 IP6 2a03:2260::3 > 2a03:2260:0:35d::2: ICMP6, time exceeded in-transit for 2a03:2260:0:35d::1, length 148
15:19:12.364519 IP6 2a03:2260::3 > 2a03:2260:0:35d::2: ICMP6, time exceeded in-transit for 2a03:2260:0:35d::1, length 148
15:19:14.156865 IP6 2a03:2260::3 > 2a03:2260:0:35d::2: ICMP6, time exceeded in-transit for 2a03:2260:0:35d::1, length 148
15:19:17.749596 IP6 2a03:2260::3 > 2a03:2260:0:35d::2: ICMP6, time exceeded in-transit for 2a03:2260:0:35d::1, length 148
15:19:24.941878 IP6 2a03:2260::3 > 2a03:2260:0:35d::2: ICMP6, time exceeded in-transit for 2a03:2260:0:35d::1, length 148
15

Schwer zu sagen was das ist.
Wir können gerne heute Abend mal zusammen auf eure Server schauen.
Bin ab ca. 19:30 CEST zuhause.

16

Ja, können wir gerne machen. Ich hau dich nachher im XMPP an :wink:
Ich bin langsam echt überfragt.

17

Mir ist gerade noch aufgefallen, der Kram tritt auch so auf dem anderen Gateway auf:

15:41:44.676085 IP6 2a03:2260::3 > 2a03:2260:0:356::2: ICMP6, time exceeded in-transit for 2a03:2260:0:356::1, length 129
15:41:44.906943 IP6 2a03:2260::3 > 2a03:2260:0:356::2: ICMP6, time exceeded in-transit for 2a03:2260:0:356::1, length 99
15:41:45.123632 IP6 2a03:2260::3 > 2a03:2260:0:356::2: ICMP6, time exceeded in-transit for 2a03:2260:0:356::1, length 129

Wir haben nur in der letzten Woche mittels apt Updates ausgeführt. Bird ist auf Version 1.4.5

18

Moin, ist die Kiste mit Proxmox virtualisiert und irgendwer hat die FW angeschaltet?!
Hatte ein ähnliches Verhalten… man muss auf dem VM Host ggf. nen modul nachschieben
nf_conntrack_gre oder so. Zum Testen als erstes die FW bei Proxmox komplett deaktivieren. dann siehste ob es daran liegt. danach kannst du das modul laden, sie wieder aktivieren… alles aber halt wie gesagt nur wenn du den gleichen fehler hast den wir hatten…

19

Ich sehe in unseren Logs nichts dergleichen.

Der einzige, der heute zwei kurz gezuckt hat, aber das auch nur in den letzten Stunden (ab 13h)

20

Hi,

es ist ein KVM Host.
Offloading und so ein Kram ist aus

21

Der Empfang unserer Pakete funktioniert auch. Die Frage ist warum sendet die Kiste nicht? Selbst wenn der Host die Pakete verwerfen würde müssten sie erstmal das Gastsystem verlassen.

22

Ich weis auch nicht mehr weiter. Wir haben seit Monaten nichts auf der Kiste gemacht. Heute morgen haben wir gegen 9 Uhr bird6 erstattet und da fing das Ganze an.

23

Ich werde nicht mehr.
6 Augen haben es nicht gesehen das auf unseren Tunnel /32er v6 Netze lagen…

Es läuft wieder alles, Danke vielmals!
Unsere Doofheid…

24

Da drängt sich mir die Frage auf: Ging es überhaupt mal?

25

Ja, über ein Jahr.
Automatisieren mit Puppet ist ja schön, aber Module aus der Forge können alles schnell kaputt machen :-/

26

Unsere Tunnel-Interfaces werden per Puppet deployed. Aus noch nicht genauer bekannten Gründen stand in den Configs auf dem Host, Beispiel:

iface gre-ffrl-fra-a inet6 static
  address 2a03:2260:0000:035c:0000:0000:0000:0002/64
 netmask 255.255.255.255

Folge: Die Interfaces hatten jeweils /32 als Netmask statt 64 - Routing-Müll.

27

Der FFRL-Backbone hat immer funktioniert solange ich mich dran erinnern kann.
(Und wenn das Thema jetzt sein sollte „Wir debuggen einen einzelnen Tunnelsatz“ oder gar „unsere ferm.conf hat’s zerlegt“: Bitte Titel des Threads ändern! DRINGEND!)

4 „Gefällt mir“
28

Ich fände auch einen neuen Titel wie:

FFNW Debugging FFRL Anbindung

1 „Gefällt mir“