运维老炮儿私藏的服务器调优潜规则
|
CPU 100% 那会儿,我正蹲在机房角落舔冰淇淋——草莓味,化得一塌糊涂,滴在键盘上黏住了 Caps Lock 键。去年劳动节,监控告警连响七次,我们仨盯着那台扛着核心支付网关的老 Dell R730,谁都没去动它。 前台在煮咖啡,奶泡噗一声顶开盖子,焦苦味窜过来。我原以为是负载均衡策略飘了,结果扒开日志发现:凌晨三点十七分,某服务自己把 max_connections 翻了三倍,不是配置改的,是代码里硬写的——就一行注释:“临时扛一下,上线后删”,写这行的人,早离职两年半了。 跑步机电机的嗡声突然变调,高了半个音,像卡了粒沙。老张蹲在机柜旁用听诊器听硬盘,耳朵贴着HBA卡散热片,脖子上汗珠直往下滚;小陈蹲另一边,用万用表量PDU输出,表笔滑了两次才压住端子;我就蹲中间,手边没工具,只剩半包湿巾擦主板上的指纹印。 优胜劣汰?真不是玄学。服务器不讲情怀,它只认活下来的配置、熬过去的峰值、还有——没人敢动的 crontab 里那行 /2 root /opt/scripts/fix-ntp.sh。删了它,NTP 服务会慢1.3秒,下游三个业务的定时批处理就全乱序,但谁也说不清哪条订单因此少记了一毛二——可就是不能动。 饮水机旁堆的一次性杯,最上面那个歪着,杯沿沾了点口红印,不是我们的会员的。昨天新来那个运营姑娘蹭过这儿接水,穿白裙子,弯腰时手机从包里滑出来,砸在地胶上,屏幕没裂,但弹出了钉钉通知:“群文件已更新|Q2 降本增效SOP_v3.2_final_reallyfinal.docx”。我扫了一眼,里面第三页写着“严禁手动调整 kernel.shmall”,下面画了个红圈,旁边小字:“已验证不生效,留着防背锅”。 器械区镜子上那道划痕,斜着,三十七度角,比去年深了。我不记得谁刮的,但记得那天晚上,小陈非说 Linux 进程优先级调度本质和人练腿一样——你得让大肌群(kswapd)先吃饱,再喂小肌群(pdflush),不然全抖。我说你喝多了吧,他拧开一瓶脉动,瓶盖弹到通风口里去了,再也没捞出来。 地胶被踩出的黑印,从门口一路拖到深蹲架,弯弯曲曲,像蚯蚓爬过。上次保洁拿拖把擦过,但压不掉,得等下一拨人踩实了,颜色反而更匀。就跟那台 R730 的 swap 分区一样,划了32G,实际从来不用——可谁敢关?去年十一月有人试过,关完三天,数据库慢查询突增47%,查半天才发现 pg_stat_activity 里一堆 waiting on lock 的进程,全卡在同一个 buffer pin 上,源头?一个连连接池都没配对的 Python 脚本。 谁的手机在深蹲架旁震动,嗡嗡嗡,震了十七秒,停了,又震。是老张的。他没掏,继续听——后来我瞥见锁屏上是“物业王主任”,没接。这事儿跟调优有毛关系?没有。但那天下午我们就知道,机房隔壁那个新装的消防喷淋头,漏水检测探头坏了,报警信号直接进了 BMC,被误判成温度突变,触发了风扇狂转策略——而风扇噪音刚好压制了硬盘异响。所以前两天那波IO延迟升高,根本不是DB的问题。 我原以为只要干掉僵尸进程、压平 load average 就算调优到位,结果上周查出三台虚机的 CPU steal time 长期>18%,翻 KVM 日志发现宿主机物理核早被挖矿镜像占满,但运维不知道——因为告警阈值设在25%,理由是“要给弹性留余量”。余量?余给谁?余给那个跑在 Kubernetes 里、名字叫 “temp-config-test-bak”、创建时间是三年前、至今无人删的 Pod? 更衣室的门关不严,风一吹就晃,吱呀一声,晃两下。上个月换锁匠,来了个姓马的师傅,戴手套,蹲着调铰链,调了四十分钟,临走说:“不是锁的事,是门框变形了。” 我点头,他拎工具箱走了。我后来没找人修,因为——那扇门晃的时候,恰好挡住机房空调出风口的直吹方向,机柜正面温度反而低了0.6℃。我们试过卡住它,温升立刻回来。现在它就那么晃着,没人碰。
文章配图,仅供参考 反常识?那台跑 MySQL 的服务器,禁用 Transparent Huge Pages 反而让 OLTP 延迟飙升,开了反而稳。为什么?因为它的 SSD 是那种老型号,page fault 处理路径上有一段固件 bug,THP 关了,它就把小页拆得更碎,碎片更多,磨损更快,到最后 IO 耗时曲线长得跟心电图一样。厂家没文档,补丁没发,就一张邮件截图贴在 wiki 底部:“建议启用并重启”。没人敢信,但试过的都留下了。 失败案例?有。上个月把 nginx worker_connections 从1024 提到65535,想着撑住春节流量——结果第二天早上八点零三分,所有 upstream 都标记为 down,不是超时,是 connection reset。查出来是 ulimit -n 没同步改,nginx fork 出来的子进程全卡在 accept(),但主进程还活着,健康检查一直绿。监控看不出来,用户报的都是“下单失败”,没一句提“页面卡住”。最后靠客户那边抓包,发现三次握手都完成了,SYN-ACK 后没了下文。这才想起来——原来 TCP backlog 默认只有128。 我到现在都不确定那个 “临时扛一下”的代码到底还埋了几处。可能藏在备份脚本里,可能混在 Ansible role 的 handlers 里,也可能就写在某个容器启动命令的 shell -c 后面,用 base64 编着……它不报错,不告警,也不吃资源,就静静待着,等你哪天心血来潮做架构评审,把它标成“历史遗留”,然后——不动。 会籍与业绩?呵。上季度我带的私教课消课率差两个百分点没达标,主管让我交复盘。我把那段 crontab 截图打出来,加粗了 “# 不要删” 四个字,打印出来,夹进周报里。她翻到那页愣了三秒,合上了。第二天晨会,她说:“技术问题,技术团队自己闭环。”——闭什么环?闭环就是不闭,留着,等着下次再长出新毛病。 接下来怎么办?我不知道。今晚打算把那台 R730 的 BIOS 升级了。不是因为要性能,是因为新版本修复了一个 USB 串口控制芯片的休眠唤醒 bug——我们用它连一台跑了十年的 PDU。修这个,顺便看看能不能让那台咖啡机别再把奶泡顶开盖子了。 (编辑:应用网_阳江站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |


小团队服务器调优的5个反直觉元数据决策
14年运维老兵精筛:每天5分钟,锁定全球关键技术新动向
Go服务器性能调优:避坑选型,QPS翻倍实战
服务器安全审计:90%漏洞藏于日志盲区
数据科学家建站无需懂运维?安全专家揭秘技术真相
PHP创业者必读:云运维视角下的流量、合规与长效运营
服务器安全审计:90%高危漏洞藏于日志盲区

浙公网安备 33038102331048号