排查
12 MIN READ · 实操
服务器被入侵后的 30 分钟排查顺序
不要一上来就重启,也不要先删文件。按「隔离—保活—定位—取证—决策」的顺序走,30 分钟内拿到足够判断的信息,再决定是清理还是重装。
核心结论
应急响应的第一步是保住现场:断公网、留内存、留日志、留进程。重启会清空内存中的恶意进程与网络连接,等于亲手毁掉最关键证据。
接到「网站打不开 / CPU 跑满 / 收到云厂商告警」的电话时,最危险的动作是立刻 reboot。下面这套顺序适用于 Linux 服务器,目标是在不破坏证据的前提下恢复业务可控。
0—5 分钟:隔离但不关机
- 在云安全组里只保留你自己的 IP 访问 SSH,其余入站全关;不要直接关机,业务可以先停,现场不能丢。
- 如果是 Web 被挂马,先把域名解析切到维护页或摘掉后端,避免继续被利用。
- 记录开始时间、发现人、现象、告警内容。后面写报告要用。
5—10 分钟:保存易失数据
mkdir -p /root/ir-$(date +%Y%m%d-%H%M)
cd /root/ir-*/
ps auxfww > ps.txt
ss -antp > netstat.txt
lsof -nP -i > lsof.txt
free -m > mem.txt
dmesg > dmesg.txt
last -ai > last.txt
lastb | head -50 > lastb.txt
crontab -l > cron-root.txt
cp -a /var/log/auth.log* /var/log/secure* . 2>/dev/null
cp -a /var/log/nginx/ . 2>/dev/null
有条件的话先做内存镜像(LiME、AVML),木马常驻内存、文件已删除,只靠磁盘查不到。没有内存取证工具时,至少把 /proc/<pid>/exe 和 /proc/<pid>/maps 复制出来。
10—20 分钟:四个方向定位
| 方向 | 看什么 | 命令 |
|---|---|---|
| 进程 | 异常高 CPU、奇怪路径、已删除仍运行 | ps aux --sort=-%cpu、ls -l /proc/<pid>/exe |
| 网络 | 外联矿池、反连 C2、异常监听 | ss -antp、lsof -i |
| 持久化 | cron、systemd、rc.local、authorized_keys | crontab -l、systemctl list-units --type=service |
| 文件 | 近期修改的 php/js、隐藏目录 | find /www -mtime -3 -type f |
20—25 分钟:确认入口
不要停在「找到了木马」,要回答「他从哪进来的」。常见入口排序:
- 应用漏洞(上传、反序列化、SQL 注入写文件、模板注入);
- 弱口令(SSH、面板、数据库、Redis);
- 过期组件(Struts2、Fastjson、Log4j2、ThinkPHP、Shiro);
- 泄露的密钥(.git、.env、OSS AccessKey、CI 变量)。
入口不查清,清理完一周内必然复发。
25—30 分钟:做决策
满足以下任一条件,建议重装系统而不是清理:
- 拿到 root 权限的证据(SUID 后门、内核模块、被改的 PAM/SSH 二进制);
- 发现内核级 rootkit(
lsmod有陌生模块、dmesg被清); - 业务代码被大面积篡改、无法确认完整性;
- 勒索软件已加密数据且没有可用备份。
重装的成本通常低于「清理后再次被入侵」的代价。重装前务必保留镜像与日志,用于后续分析和报案。
排查用的高频命令
# 已删除但仍占用空间的进程(常见于日志型木马)
lsof +L1
# 隐藏进程(对比 ps 与 /proc)
ls /proc | grep -E '^[0-9]+$' | sort -n > /tmp/a
ps -eo pid --no-headers | tr -d ' ' | sort -n > /tmp/b
comm -13 /tmp/a /tmp/b
# 近 7 天新增的可执行文件
find / -xdev -type f -perm -u+x -mtime -7 2>/dev/null | grep -v -E '^/(proc|sys|usr/lib|usr/bin)'
# 监听端口对应的进程
ss -lntp
沟通建议:对外只说「正在处理,已控制影响范围」,不要在原因未确认前承诺「数据没丢」。恢复时间给区间,不给精确时刻。
本文由站点编辑整理,配置与命令已在测试环境验证;不同发行版与版本可能存在差异,执行前请先在非生产环境演练。