记最近遇到的一个奇葩的内网网络问题

我是路标

0. 背景
1. 嗯？
2. 嗯？双？？
3. 叒？？
4. 内核我就问你背不背这个锅？
5. Windows的没问题啊？
6. 嗨……回到原来的问题上来
7. ？。。。
8. 其实也没坏

0. 背景

话说最近有折腾内网设备，升级了新的硬件设备（关于硬件配置参见B站的这个视频）。

这里单说网络的部分。

内网这次换掉了原来的TPLINK 2.5G五口交换机，改为2.5G 8口带SFP端口的交换机，本意是为了插猫棒然后下掉光猫精简设备数量。结果折腾了一番后，发现宽带是EPON的，折腾意义不大还挺贵，后来就放弃用猫棒的想法了。

主机用的是基于RTL8125芯片的PCI-Ex1网卡，这个网卡很常见，不管是小黄鱼还是马云家还是拼夕夕上都是差不多四五十一张，这次买了三张准备升级内网。

系统装的是CentOS9，装系统挂载硬盘什么的一路顺利，以为就装好了，然后拔掉了显卡扔到角落里当服务器去了。

为什么要拔掉显卡呢？

服务器要啥显卡，显卡不用电的吗。哦对了这精粤X99 D4主板很傻缺，不知道哪里的毛病，感觉BIOS有bug，主板上的六个SATA口不能用，插上了就要显卡，否则不能启动，卡D6。不用主板上的SATA口就可以不插显卡启动。奇怪的逻辑，但这不重要，反正我扩展板上的SATA口多，不用就是了。

重要的是试了试感觉没啥异常，就这么着了。

然后……

1. 嗯？

第二天，我发现主机掉线了。

奇怪了啊，咋就掉线了，死机了？

看了看主机，似乎状态正常，没有异常。由于拔掉了显卡，没有办法接显示器，看不到现在的状态。

想了想要不干脆重启吧。

于是按了复位键。

一会儿后DHCP里看到了机器上线，SSH进去后看到一切正常。

然后发现一个奇怪的问题。这台机器每次重启后系统时间都是从2023年2月7日开始计算的。似乎没有记录时间？……但BIOS设置似乎又会保存，奇怪的问题。

2. 嗯？双？？

第二天，机器又掉线了。

……奇怪の？？

给机器插上键盘，发现硬盘灯亮了下。

所以说系统应该没死机。

于是键盘上盲敲登录账号密码和reboot。

硬盘灯一通狂闪，应该是重启了。过了一会儿，果然上线了。

然后我觉得这个问题好奇怪啊？

SSH进去后ip a看了一下网络状态，没啥问题啊。看到DHCP释放时间大概是11个小时，猜测了一下，难道是DHCP分配的IP地址到期后没有获得新的地址导致掉线了？

等了十二个小时后，果然机器又掉线了。

这次乖乖地插上显卡和终端设备，方便操作系统，然后重启。

3. 叒？？

重启后开始往服务器上拷贝数据库文件，恢复数据库。

发现有问题，SFTP拷贝到20%后就会卡住然后断掉。

以为临时的网络问题，准备SSH里看状态，这时候发现原来连着的SSH终端也掉线了。

跑去控制台那边看，果然没死机，但屏幕上有这样一堆日志：

Feb 27 09:30:49 E5L kernel: NETDEV WATCHDOG: enp8s0 (r8169): transmit queue 0 timed out
Feb 27 09:30:49 E5L kernel: WARNING: CPU: 22 PID: 0 at net/sched/sch_generic.c:525 dev_watchdog+0x1f9/0x200
Feb 27 09:30:49 E5L kernel: Modules linked in: veth(E) xt_nat(E) xt_conntrack(E) xt_MASQUERADE(E) nf_conntrack_netlink(E) xt_addrtype(E) nft_compat(E) br_netfilter(E) bridge(E) stp(E) llc(E) nf_conntrack_netbios_ns(E) nf_conntrack_broadcast(E) nft_fib_inet(E) nft_fib_ipv4(E) nft_fib_ipv6(E) nft_fib(E) nft_reject_inet(E) nf_reject_ipv4(E) nf_reject_ipv6(E) nft_reject(E) nft_ct(E) nft_chain_nat(E) nf_nat(E) nf_conntrack(E) nf_defrag_ipv6(E) nf_defrag_ipv4(E) rfkill(E) overlay(E) ip_set(E) nf_tables(E) nfnetlink(E) intel_rapl_msr(E) intel_rapl_common(E) intel_uncore_frequency(E) intel_uncore_frequency_common(E) x86_pkg_temp_thermal(E) intel_powerclamp(E) coretemp(E) snd_hda_codec_realtek(E) kvm_intel(E) snd_hda_codec_generic(E) ledtrig_audio(E) snd_hda_intel(E) snd_intel_dspcfg(E) snd_hda_codec(E) kvm(E) snd_hda_core(E) snd_hwdep(E) irqbypass(E) snd_pcm(E) rapl(E) vfat(E) intel_cstate(E) iTCO_wdt(E) intel_pmc_bxt(E) fat(E) iTCO_vendor_support(E) gpio_ich(E) snd_timer(E) intel_uncore(E) snd(E) i2c_i801(E)
Feb 27 09:30:49 E5L kernel: pcspkr(E) mxm_wmi(E) lpc_ich(E) i2c_smbus(E) soundcore(E) drm(E) xfs(E) libcrc32c(E) sd_mod(E) sg(E) ahci(E) libahci(E) nvme(E) crct10dif_pclmul(E) crc32_pclmul(E) crc32c_intel(E) polyval_clmulni(E) libata(E) polyval_generic(E) nvme_core(E) r8169(E) ghash_clmulni_intel(E) serio_raw(E) realtek(E) t10_pi(E) wmi(E) fuse(E)
Feb 27 09:30:49 E5L kernel: CPU: 22 PID: 0 Comm: swapper/22 Tainted: G            E      6.2.10-1.el9.elrepo.x86_64 #1
Feb 27 09:30:49 E5L kernel: Hardware name: JGINYUE X99 TITANIUM D4/X99 TITANIUM D4, BIOS 5.11 12/06/2022
Feb 27 09:30:49 E5L kernel: RIP: 0010:dev_watchdog+0x1f9/0x200
Feb 27 09:30:49 E5L kernel: Code: 00 e9 40 ff ff ff 48 89 ef c6 05 f7 39 64 01 01 e8 ec d1 f8 ff 44 89 e9 48 89 ee 48 c7 c7 b0 f8 76 88 48 89 c2 e8 d7 25 63 ff <0f> 0b e9 22 ff ff ff 90 90 90 90 90 90 90 90 90 90 90 90 90 90 90
Feb 27 09:30:49 E5L kernel: RSP: 0018:ffffb0b4c0594ea8 EFLAGS: 00010282
Feb 27 09:30:49 E5L kernel: RAX: 0000000000000000 RBX: ffffa00c42494488 RCX: 0000000000000000
Feb 27 09:30:49 E5L kernel: RDX: 0000000000000104 RSI: ffffffff886d644d RDI: 00000000ffffffff
Feb 27 09:30:49 E5L kernel: RBP: ffffa00c42494000 R08: 0000000000000000 R09: 00000000ffff7fff
Feb 27 09:30:49 E5L kernel: R10: ffffb0b4c0594d50 R11: ffffffff891e5908 R12: ffffa00c424943dc
Feb 27 09:30:49 E5L kernel: R13: 0000000000000000 R14: ffffffff87ce6950 R15: ffffb0b4c0594f00
Feb 27 09:30:49 E5L kernel: FS:  0000000000000000(0000) GS:ffffa01b7fd80000(0000) knlGS:0000000000000000
Feb 27 09:30:49 E5L kernel: CS:  0010 DS: 0000 ES: 0000 CR0: 0000000080050033
Feb 27 09:30:49 E5L kernel: CR2: 00007f6a6ad4f6e8 CR3: 0000000bdf810003 CR4: 00000000003706e0
Feb 27 09:30:49 E5L kernel: DR0: 0000000000000000 DR1: 0000000000000000 DR2: 0000000000000000
Feb 27 09:30:49 E5L kernel: DR3: 0000000000000000 DR6: 00000000fffe0ff0 DR7: 0000000000000400
Feb 27 09:30:49 E5L kernel: Call Trace:
Feb 27 09:30:49 E5L kernel: <IRQ>
Feb 27 09:30:49 E5L kernel: ? __pfx_dev_watchdog+0x10/0x10
Feb 27 09:30:49 E5L kernel: call_timer_fn+0x27/0x130
Feb 27 09:30:49 E5L kernel: __run_timers.part.0+0x1ee/0x280
Feb 27 09:30:49 E5L kernel: ? tick_sched_timer+0x71/0x90
Feb 27 09:30:49 E5L kernel: ? _raw_spin_lock_irq+0x19/0x40
Feb 27 09:30:49 E5L kernel: ? __hrtimer_run_queues+0x121/0x2b0
Feb 27 09:30:49 E5L kernel: ? __pfx_read_tsc+0x10/0x10
Feb 27 09:30:49 E5L kernel: run_timer_softirq+0x31/0x70
Feb 27 09:30:49 E5L kernel: __do_softirq+0xf0/0x2ee
Feb 27 09:30:49 E5L kernel: __irq_exit_rcu+0xdb/0x120
Feb 27 09:30:49 E5L kernel: sysvec_apic_timer_interrupt+0xa2/0xd0
Feb 27 09:30:49 E5L kernel: </IRQ>
Feb 27 09:30:49 E5L kernel: <TASK>
Feb 27 09:30:49 E5L kernel: asm_sysvec_apic_timer_interrupt+0x16/0x20
Feb 27 09:30:49 E5L kernel: RIP: 0010:cpuidle_enter_state+0xde/0x410
Feb 27 09:30:49 E5L kernel: Code: 00 00 31 ff e8 f3 4f 7b ff 45 84 ff 74 16 9c 58 0f 1f 40 00 f6 c4 02 0f 85 11 03 00 00 31 ff e8 f8 55 83 ff fb 0f 1f 44 00 00 <45> 85 f6 0f 88 6e 01 00 00 49 63 d6 4c 2b 2c 24 48 8d 04 52 48 8d
Feb 27 09:30:49 E5L kernel: RSP: 0018:ffffb0b4c019be80 EFLAGS: 00000246
Feb 27 09:30:49 E5L kernel: RAX: ffffa01b7fd80000 RBX: ffffd0b4bfb802e8 RCX: 000000000000001f
Feb 27 09:30:49 E5L kernel: RDX: 0000000000000016 RSI: ffffffff886d644d RDI: ffffffff886b1695
Feb 27 09:30:49 E5L kernel: RBP: 0000000000000003 R08: 000004f51ebe7699 R09: 0000000000000018
Feb 27 09:30:49 E5L kernel: R10: 00000000002d747f R11: 00000000001404a9 R12: ffffffff892ae0c0
Feb 27 09:30:49 E5L kernel: R13: 000004f51ebe7699 R14: 0000000000000003 R15: 0000000000000000
Feb 27 09:30:49 E5L kernel: cpuidle_enter+0x29/0x40
Feb 27 09:30:49 E5L kernel: cpuidle_idle_call+0x140/0x1d0
Feb 27 09:30:49 E5L kernel: do_idle+0x7e/0xe0
Feb 27 09:30:49 E5L kernel: cpu_startup_entry+0x19/0x20
Feb 27 09:30:49 E5L kernel: start_secondary+0x112/0x130
Feb 27 09:30:49 E5L kernel: secondary_startup_64_no_verify+0xe5/0xeb
Feb 27 09:30:49 E5L kernel: </TASK>
Feb 27 09:30:49 E5L kernel: ---[ end trace 0000000000000000 ]---

看堆栈信息是网卡的发送队列停止工作了。

之前有遇到过内核导致的网络问题（网桥），所以遇到这个问题的第一时间就想到是不是内核有bug。

用“r8169 transmit queue 0 timed out”做关键字检索，果然在kernel上检索到了几个相关的bug报告，最近的一个是三月份的，影响到的是6.2的内核，而6.1正常。看记录相关的修复应该在6.3里包含了，而我用的正好是6.2.10这个版本。虽说看讨论这个bug仅和特定的架构（LoongArch）有关，但鉴于堆栈信息完全一致，我还是决定升级试试。

升级到6.3.2后，想着下一次断要十个小时后，我就决定暂时先放着，继续恢复数据库。

上次用SFTP出错了，那这次我换Samba。

结果samba也不太对劲，虽然勉强能拷，但时不时卡住，且速度很慢，才三四十M/S，我这可是2.5G的内网呵。