代码审计四:AI 智能分析–结果自动化处理与报告生成

系列目录

代码审计系列一:SonarQube 代码质量平台部署与Java项目扫描实践
代码审计系列二:GitLab 与 SonarQube 联动——自动化代码审计平台搭建
代码审计系列三:Semgrep 精准规则扫描平台部署与实践
代码审计系列四:AI 智能分析——SonarQube 结果自动化处理与报告生成
代码审计系列五:代码安全审计 · AI 辅助分析平台构建与部署

文档概述
  本文在前三篇基础上,引入 QwenPaw(AI 智能体),实现 SonarQube、Semgrep 扫描结果的自动拉取、AI 分析、可视化 HTML 报告生成,以及企业微信、GitLab MR 双通道自动推送,形成完整 DevSecOps 闭环。
一、前言
 在 SonarQube(代码扫描)、GitLab(代码托管/CI) 的基础上,引入AI ,实现:
  • 定时自动拉取 SonarQube 所有项目扫描结果
  • AI 自动分析、生成中文报告
  • 生成三级可视化 HTML 页面(总首页 + 项目列表页 + 详情页)
  • 自动回复报告到 GitLab MR 讨论区
  • 企业微信实时推送

目标:解决“扫了没人看、BUG 没人管”的痛点,实现代码安全左移、自动化闭环。

二、整体架构
2.1 技术栈
组件 技术 说明
代码扫描 SonarQube 开源版,持续分析代码质量与安全
代码托管 GitLab 开源版,代码仓库 + MR 管理
AI 分析 QwenPaw(通义千问) 问题分析、报告生成
报告生成 Python + Shell 脚本自动化
报告展示 Nginx 静态 HTML 服务
定时调度 Linux crontab 每 2 分钟执行
通知推送 企业微信 API Webhook / QwenPaw channels
2.2 系统架构图
┌─────────────────────────────────────────────────────────┐
│                    Linux Crontab                        │
│                    每 2 分钟执行一次                      │
└──────────────────────┬──────────────────────────────────┘
                       │
                       ▼
┌──────────────────────────────────────────────────────────┐
│           sonarqube_notify_multi.sh (主调度)              │
│                                                          │
│  ① 读取 projects.conf 获取所有项目配置                     │
│  ② 逐个项目调用 SonarQube API 拉取最新扫描数据              │
│  ③ 计算当前数据的 Hash,与上次 Hash 比对                    │
│  ④ Hash 相同 → 跳过,Hash 不同 → 触发后续流程               │
└──────────┬───────────┬───────────┬───────────┬───────────┘
           │           │           │           │
           ▼           ▼           ▼           ▼
    ┌──────────┐ ┌──────────┐ ┌──────────┐ ┌──────────┐
    │ 生成详情  │ │ 更新首页  │ │ GitLab   │ │ 企业微信  │
    │ 页面      │ │ +列表页  │ │ MR 评论   │ │ 推送     │
    │          │ │          │ │          │ │          │
    │ generate │ │ generate │ │ gitlab   │ │ qwenpaw  │
    │ _report  │ │ _index   │ │ _mr_     │ │ channels │
    │ _v4.py   │ │ _v2.py   │ │ notify   │ │ send     │
    │          │ │          │ │ .py      │ │          │
    └────┬─────┘ └────┬─────┘ └────┬─────┘ └────┬─────┘
         │            │            │            │
         ▼            ▼            ▼            ▼
    ┌──────────┐ ┌──────────┐ ┌──────────┐ ┌──────────┐
    │ /var/www │ │ /var/www │ │ GitLab   │ │ 企业微信  │
    │ /html/   │ │ /html/   │ │ MR 讨论  │ │ 群/个人   │
    │ *.html   │ │ index    │ │ 区       │ │          │
    └──────────┘ └──────────┘ └──────────┘ └──────────┘
2.3 数据流
SonarQube 扫描完成
       │
       ▼
  API 拉取 issues
       │
       ▼
  Hash 比对 ──→ 无变化 ──→ 静默退出
       │
       │ (有变化)
       ▼
  ┌────────────────────────────────────────┐
  │  generate_report_v4.py                 │
  │  - 解析 issues 数据                     │
  │  - 检测新增问题(与上次 key 比对)        │
  │  - 计算安全评分                         │
  │  - 生成 HTML 详情页                     │
  │  - 更新历史 issue keys                  │
  └───────────────┬────────────────────────┘
                  │
                  ▼
  ┌────────────────────────────────────────┐
  │  generate_index_v2.py                  │
  │  - 汇总所有项目数据                      │
  │  - 生成总首页(统计卡片 + AI 洞察)       │
  │  - 生成各项目列表页                      │
  └───────────────┬────────────────────────┘
                  │
                  ▼
  ┌───────────────┴────────────────────────┐
  │  推送通知(双通道)                      │
  │                                        │
  │  ① gitlab_mr_notify.py                 │
  │     → 查找 open 状态的 MR               │
  │     → 自动回复报告链接到 MR 讨论区        │
  │                                        │
  │  ② 企业微信推送                          │
  │     → 推送报告摘要 + 链接到个人/群聊      │
  └─────────────────────────────────────────┘
三、环境信息
3.1 服务器角色
角色 IP 端口 说明
SonarQube 服务器 192.168.21.217 9000 代码扫描平台
GitLab 服务器 192.168.21.217 80/443 代码仓库(与 SonarQube 同机)
报告服务器 192.168.21.223 80 Nginx 静态服务,托管 HTML 报告
审计脚本服务器 – – 执行 crontab,与上述任一服务器同机
3.2 API 地址
服务 地址
SonarQube Issues API http://192.168.21.217:9000/api/issues/search?componentKeys={项目Key}&ps=500
GitLab API http://192.168.21.217/api/v4
报告访问地址 http://192.168.21.223/{项目Key}/{时间戳}.html
总首页 http://192.168.21.223/
项目列表页 http://192.168.21.223/{项目Key}/
3.3 Token / 密钥
服务 Token 用途
SonarQube sqa_38e2ceb3c6af3ea7b8b0858ad443f0887bbf78c3 API 认证
GitLab glpat-YKYU-8KeFhtFlCXSC4cFBm86MQp1OjMH.01.0w1mnv45z API 认证
企业微信 Bot ID aibcljsJuWZ54P0Dmz9xcyhBYPgmeVyPdV4 QwenPaw 推送
企业微信 Secret eku7IwFbSq76XtVBhjeonv5NExHZgcW1yhMdzxSh3DK QwenPaw 推送
3.4 企业微信会话
参数 值
channel wecom
user_id HeWei
session_id wecom:HeWei
3.5 监控项目
SonarQube 项目 Key GitLab 项目 ID
php-webug4.0 1
php-book 2
test-java –
3.6 crontab 配置
# 时间同步(每 30 分钟)
*/30 * * * * /usr/sbin/ntpdate -u ntp.aliyun.com >/dev/null 2>&1 && /sbin/hwclock -w 2>/dev/null || true

# SonarQube 安全审计监控(每 2 分钟)
*/2 * * * * /bin/bash /root/.qwenpaw/workspaces/default/sonarqube_notify_multi.sh >/dev/null 2>&1
四、核心组件
4.1 主调度脚本 —( sonarqube_notify_multi.sh)

职责:系统入口,负责调度整个流程。

核心逻辑:

  1. 读取 projects.conf 获取所有项目配置
  2. 逐个项目调用 SonarQube API 拉取最新扫描数据
  3. 计算当前数据的 Hash,与上次 Hash 比对
  4. Hash 相同 → 静默退出;Hash 不同 → 依次触发:报告生成 → 首页更新 → GitLab MR 评论 → 企业微信推送

4.2 详情页生成 –( 
generate_report_v4.py)

职责:将 SonarQube API 数据转换为 HTML 可视化报告。

核心功能:

  • 解析 issues 数据,按严重程度分类统计
  • 与上次 issue keys 比对,检测新增问题并高亮标记
  • 计算安全评分(100 分制,按严重程度扣分)
  • 生成三级页面:Header → 严重程度分布 → AI 分析摘要 → 问题详情表格
  • 问题详情支持筛选(严重程度、关键字搜索)

4.3 首页生成 –(
generate_index_v2.py)

职责:汇总所有项目数据,生成总首页和各项目列表页。

核心功能:

  • 读取各项目的 state.json 获取最新状态
  • 计算汇总统计(总项目数、总问题数、总新增数、平均评分)
  • 生成总首页:统计卡片 + AI 智能洞察(趋势/热点/建议)
  • 生成各项目列表页:最近报告列表 + 趋势分析
4.4 GitLab MR 自动评论 –(gitlab_mr_notify.py)

职责:将报告链接自动回复到 GitLab Merge Request 讨论区。

核心功能:

  • 根据 SonarQube 项目 Key 查找对应的 GitLab 项目 ID(通过 GITLAB_MAP 配置)
  • 获取该 GitLab 项目所有 open 状态的 MR
  • 向每个 open MR 发送评论,内容包含扫描结果摘要 + 报告链接

4.5 配置文件 –(
projects.conf)
# SonarQube 项目配置
# 格式:项目Key=项目名称=API地址
php-webug4.0=php-webug4.0=http://192.168.21.217:9000/api/issues/search?componentKeys=php-webug4.0&ps=500
php-book=php-book=http://192.168.21.217:9000/api/issues/search?componentKeys=php-book&ps=500

# SonarQube API Token
AUTH_TOKEN=sqa_xxxxx

# GitLab 配置
GITLAB_URL=http://192.168.21.217/api/v4
GITLAB_TOKEN=glpat-xxxxx

# GitLab 项目映射(SonarQube项目Key=GitLab项目ID)
GITLAB_MAP=php-webug4.0:1,php-book:2

# 企业微信推送目标
WECOM_CHANNEL=wecom
WECOM_USER=HeWei
WECOM_SESSION=wecom:HeWei
⚠️ 新增项目时,只需在此文件添加一行配置,无需修改任何脚本代码。
五、工作流程
5.1 日常运行流程
时间线:
  00:00  crontab 触发 → 拉取 API → 无变化 → 静默
  00:02  crontab 触发 → 拉取 API → 无变化 → 静默
  ...
  09:30  开发者推送代码到 GitLab
  09:32  crontab 触发 → 拉取 API → 发现变化!
         │
         ├── 生成新报告:202605280932.html
         ├── 更新首页和列表页
         ├── 查找 open MR → 自动评论 ✅
         └── 推送企业微信 → 个人收到通知 ✅
  09:34  crontab 触发 → 拉取 API → 无变化 → 静默
5.2 新增项目流程
# 1. 在 SonarQube 中配置项目扫描(确保代码被分析)
# 2. 在 GitLab 中确认项目存在,获取项目 ID
# 3. 编辑 projects.conf,添加一行:
#    项目Key=项目名称=http://SonarQube地址/api/issues/search?componentKeys=项目Key&ps=500
# 4. 编辑 projects.conf 的 GITLAB_MAP,添加映射:
#    GITLAB_MAP=原有映射,新项目Key:GitLab项目ID
# 5. 等待 crontab 自动触发,系统会自动开始监控该项目
六、部署指南
6.1 文件清单
文件 说明
sonarqube_notify_multi.sh 主调度脚本
generate_report_v4.py 详情页生成器
generate_index_v2.py 首页生成器
gitlab_mr_notify.py GitLab MR 推送
projects.conf 配置文件
6.2 部署步骤
# 1. 将脚本文件复制到服务器
sonarqube_notify_multi.sh
generate_report_v4.py
generate_index_v2.py
gitlab_mr_notify.py 
projects.conf
#如 /root/.qwenpaw/workspaces/default/

# 2. 修改 projects.conf 中的配置
vim /root/.qwenpaw/workspaces/default/projects.conf

# 3. 确保 Python3 已安装(需要 3.6+)
python3 --version

# 4. 确保 Nginx 已配置静态文件服务(/var/www/html/)

# 5. 添加 crontab 定时任务
crontab -e
# 添加:*/2 * * * * /bin/bash /root/.qwenpaw/workspaces/default/sonarqube_notify_multi.sh >/dev/null 2>&1

# 6. 手动测试一次
bash /root/.qwenpaw/workspaces/default/sonarqube_notify_multi.sh

# 7. 检查日志
tail -f /tmp/sonarqube_notify_multi.log
6.3 新增项目(3 步完成)
# 1. 编辑配置文件
vim /root/.qwenpaw/workspaces/default/projects.conf

# 2. 添加项目(一行配置)
新项目Key=项目名称=http://SonarQube地址/api/issues/search?componentKeys=新项目Key&ps=500

# 3. 添加 GitLab 映射(如有)
# 修改 GITLAB_MAP 行,追加:新项目Key:GitLab项目ID
七、报告页面说明
7.1 总首页(http://192.168.21.223/)
  • 统计卡片:监控项目数、历史报告数、新增问题、高危问题、平均评分
  • AI 智能洞察:综合风险趋势、新增热点、优先级建议
  • 各项目快速入口


7.2 项目列表页(
http://192.168.21.223/php-webug4.0/)
  • 项目概览:最新评分、问题总数
  • 趋势分析:过去 N 份报告的变化趋势
  • 历史报告列表:按时间倒序排列,支持点击查看详情

7.3 报告详情页(http://192.168.21.223/php-webug4.0/202605282118.html)
  • Header:项目名、评分、更新时间、导航
  • 统计指标:评分、总数、新增、高危、报告数
  • 漏洞类型分布
  • 严重程度分布(带进度条可视化)
  • AI 智能分析摘要(本次概况、新增分析、重点关注)
  • 问题详情表格(支持严重程度筛选、关键字搜索)

八、效果展示
8.1 企业微信推送

系统检测到扫描结果变化后,自动通过企业微信推送报告摘要和链接。

8.2 GitLab MR 自动评论

系统自动将报告链接回复到项目下所有 open 状态的 Merge Request 讨论区。

8.3 项目列表页


8.4 报告详情页

九、与 v1 版本对比
能力 v1(旧版) v2(当前版本)
项目数量 单项目 多项目(配置文件管理)
报告形式 纯文本推送 HTML 可视化报告(三级页面)
变化检测 Hash 比对 Hash 比对 + issue key 比对(检测新增)
通知渠道 仅企微 企微 + GitLab MR(双通道)
安全评分 无 100 分制评分
趋势分析 无 多报告趋势对比
新增高亮 无 新增问题自动标记
AI 分析 简单摘要 智能洞察(趋势/热点/建议)
十、扩展规划(v3)
10.1 自动发现 GitLab 项目映射

当前:手动在 projects.conf 中配置 GITLAB_MAP

v3 目标:通过 SonarQube 项目元数据自动匹配 GitLab 项目

10.2 Web 管理后台
  • 配置可视化管理(替代手动编辑 conf 文件)
  • 项目管理(添加/删除/启用/禁用)
  • 报告历史查看、推送记录审计
10.3 更多通知渠道
  • 钉钉群机器人
  • 飞书群机器人
  • 邮件通知
附录:常用命令
# 查看运行日志
tail -f /tmp/sonarqube_notify_multi.log

# 手动触发一次
bash /root/.qwenpaw/workspaces/default/sonarqube_notify_multi.sh

# 检查 crontab 是否正常
crontab -l | grep sonarqube
系列总结:本系列已完成从代码扫描、自动化触发、精准规则补充到 AI 智能分析推送的完整安全审计闭环。未来第五篇将计划探索 DeepAudit / AuditLuma 等专项工具在 CTF 等场景的应用。