Linux 日志系统维护的实战示例，涵盖常见场景和工具：
1. 日志轮转与清理（Logrotate）
问题：系统 /var/log 空间不足，需定期切割和清理旧日志。
实战步骤：
- 检查默认配置
Logrotate 默认配置文件：
bash
cat /etc/logrotate.conf # 全局配置 ls /etc/logrotate.d/ # 应用特定配置（如nginx、syslog等）
- 自定义日志轮转规则（以 Nginx 为例）
创建文件 /etc/logrotate.d/nginx：
yaml
/var/log/nginx/*.log { daily # 每天轮转 missingok rotate 14 # 保留14天 compress # 压缩旧日志（gzip） delaycompress # 延迟压缩前一天的日志 notifempty # 空日志不处理 create 0640 nginx adm # 轮转后日志权限 sharedscripts # 执行统一脚本 postrotate sudo systemctl reload nginx # 触发日志文件重开 endscript }
- 手动测试配置：
bash
logrotate -d /etc/logrotate.d/nginx # 调试模式（dry-run） logrotate -vf /etc/logrotate.d/nginx # 强制执行轮转
- 清理历史日志
bash
find /var/log -name "*.log.*" -type f -mtime +30 -exec rm -f {} \; # 删除30天前的旧日志
2. 实时日志监控与分析
场景：快速定位应用程序或系统错误。
实战示例：
- 使用 journalctl（systemd 日志）
bash
journalctl -u nginx -f # 实时跟踪 Nginx 日志 journalctl --since "2024-01-01" --until "2024-01-02" # 按时间过滤 journalctl -p err -b # 仅显示本次启动后的错误日志
- 借助 grep 和 awk
bash
grep "ERROR" /var/log/syslog | awk '{print $5}' | sort | uniq -c # 统计错误关键词频率 tail -f /var/log/nginx/access.log | grep ' 500 ' # 实时监控 500 错误
- 使用 multitail 工具
bash
sudo apt install multitail # Ubuntu/Debian sudo yum install multitail # CentOS multitail -i /var/log/nginx/access.log -i /var/log/nginx/error.log # 同时监控多个日志
3. 日志归档与备份
场景：长期保留日志用于审计或分析。
实战步骤：
- 压缩历史日志
bash
tar -czvf /backup/logs-$(date +%Y%m%d).tar.gz /var/log/nginx/*.log.* # 压缩旧日志
- 2同步到远程服务器（通过 rsync）
bash
rsync -avz /var/log/nginx/ user@remote-host:/backup/logs/ # 远程备份
- 定时任务（Cron）
编辑 crontab -e 添加：
bash
0 3 * * * /usr/sbin/logrotate -f /etc/logrotate.d/nginx # 每天3点执行轮转 0 4 * * * tar -czvf /backup/logs-$(date +\%Y\%m\%d).tar.gz /var/log/nginx/*.log.*
4. 集中式日志管理（ELK Stack）
场景：多台服务器日志统一收集和分析。
实战步骤：
- 安装 Filebeat（日志采集）
bash
# Ubuntu/Debian curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-8.11.1-amd64.deb sudo dpkg -i filebeat-8.11.1-amd64.deb # CentOS/RHEL curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-8.11.1-x86_64.rpm sudo rpm -vi filebeat-8.11.1-x86_64.rpm
- 配置 Filebeat（/etc/filebeat/filebeat.yml）
yaml
filebeat.inputs: - type: filestream paths: - /var/log/nginx/*.log fields: service: nginx output.elasticsearch: hosts: ["elasticsearch-server:9200"] indices: - index: "nginx-%{+yyyy.MM.dd}"
- 启动并验证
bash
sudo systemctl enable --now filebeat curl
http://elasticsearch-server:9200/_cat/indices?v # 检查索引是否生成
- 在 Kibana 中可视化日志
访问 http://kibana-server:5601，创建索引模式并制作仪表盘。
5. 日志安全与权限
场景：防止日志被篡改或泄露。
实战示例：
- 日志文件权限加固
bash
chmod 640 /var/log/nginx/*.log # 仅允许 root 和 nginx 组访问 chown root:nginx /var/log/nginx/
- 配置 auditd 监控关键日志
bash
sudo auditctl -w /var/log/nginx/ -p wa -k nginx_logs # 监控写和属性修改 sudo ausearch -k nginx_logs | aureport -f -i # 查询审计记录
- 日志完整性校验（Tripwire 或 AIDE）
bash
# 使用 AIDE 安装与校验（以 Ubuntu 为例） sudo apt install aide -y aideinit && mv /var/lib/aide/aide.db.new /var/lib/aide/aide.db aide.wrapper --check # 定期检查文件篡改
6. 日志故障排查示例
问题：系统出现大量 Out of memory 错误。
排查步骤：
- 快速定位关键日志
bash
journalctl --since "10 min ago" | grep -i "out of memory"
- 分析进程内存使用
bash
grep -i "oom" /var/log/kern.log # 查看内核 OOM Killer 日志 ps -eo pid,user,%mem,command --sort=-%mem | head -n 10 # 显示内存占前10的进程
- 生成自动化警报脚本
bash
# 检查内存不足错误并发送邮件 if grep -q "Out of memory" /var/log/syslog; then echo "系统出现 Out of Memory 错误！" | mail -s "OOM Alert" admin@example.com fi
注意事项
- 日志保留策略：根据合规要求（如 GDPR）设置保留周期。
- 定期验证：检查 Logrotate 是否生效，避免日志堆积。
- 性能影响：集中式日志系统（如 ELK）需确保足够的存储和网络带宽。
- 敏感信息脱敏：避免在日志中记录密码、密钥等敏感数据。