系列目录
代码审计系列一:SonarQube 代码质量平台部署与Java项目扫描实践
代码审计系列二:GitLab 与 SonarQube 联动——自动化代码审计平台搭建
代码审计系列三:Semgrep 精准规则扫描平台部署与实践
代码审计系列四:AI 智能分析——SonarQube 结果自动化处理与报告生成
代码审计系列五:代码安全审计 · AI 辅助分析平台构建与部署
文档概述
本文在前三篇基础上,引入 QwenPaw(AI 智能体),实现 SonarQube、Semgrep 扫描结果的自动拉取、AI 分析、可视化 HTML 报告生成,以及企业微信、GitLab MR 双通道自动推送,形成完整 DevSecOps 闭环。
一、前言
在 SonarQube(代码扫描)、GitLab(代码托管/CI) 的基础上,引入AI ,实现:
- 定时自动拉取 SonarQube 所有项目扫描结果
- AI 自动分析、生成中文报告
- 生成三级可视化 HTML 页面(总首页 + 项目列表页 + 详情页)
- 自动回复报告到 GitLab MR 讨论区
- 企业微信实时推送
目标:解决“扫了没人看、BUG 没人管”的痛点,实现代码安全左移、自动化闭环。
二、整体架构
2.1 技术栈
| 组件 | 技术 | 说明 |
|---|---|---|
| 代码扫描 | SonarQube | 开源版,持续分析代码质量与安全 |
| 代码托管 | GitLab | 开源版,代码仓库 + MR 管理 |
| AI 分析 | QwenPaw(通义千问) | 问题分析、报告生成 |
| 报告生成 | Python + Shell | 脚本自动化 |
| 报告展示 | Nginx | 静态 HTML 服务 |
| 定时调度 | Linux crontab | 每 2 分钟执行 |
| 通知推送 | 企业微信 API | Webhook / QwenPaw channels |
2.2 系统架构图
┌─────────────────────────────────────────────────────────┐
│ Linux Crontab │
│ 每 2 分钟执行一次 │
└──────────────────────┬──────────────────────────────────┘
│
▼
┌──────────────────────────────────────────────────────────┐
│ sonarqube_notify_multi.sh (主调度) │
│ │
│ ① 读取 projects.conf 获取所有项目配置 │
│ ② 逐个项目调用 SonarQube API 拉取最新扫描数据 │
│ ③ 计算当前数据的 Hash,与上次 Hash 比对 │
│ ④ Hash 相同 → 跳过,Hash 不同 → 触发后续流程 │
└──────────┬───────────┬───────────┬───────────┬───────────┘
│ │ │ │
▼ ▼ ▼ ▼
┌──────────┐ ┌──────────┐ ┌──────────┐ ┌──────────┐
│ 生成详情 │ │ 更新首页 │ │ GitLab │ │ 企业微信 │
│ 页面 │ │ +列表页 │ │ MR 评论 │ │ 推送 │
│ │ │ │ │ │ │ │
│ generate │ │ generate │ │ gitlab │ │ qwenpaw │
│ _report │ │ _index │ │ _mr_ │ │ channels │
│ _v4.py │ │ _v2.py │ │ notify │ │ send │
│ │ │ │ │ .py │ │ │
└────┬─────┘ └────┬─────┘ └────┬─────┘ └────┬─────┘
│ │ │ │
▼ ▼ ▼ ▼
┌──────────┐ ┌──────────┐ ┌──────────┐ ┌──────────┐
│ /var/www │ │ /var/www │ │ GitLab │ │ 企业微信 │
│ /html/ │ │ /html/ │ │ MR 讨论 │ │ 群/个人 │
│ *.html │ │ index │ │ 区 │ │ │
└──────────┘ └──────────┘ └──────────┘ └──────────┘
2.3 数据流
SonarQube 扫描完成
│
▼
API 拉取 issues
│
▼
Hash 比对 ──→ 无变化 ──→ 静默退出
│
│ (有变化)
▼
┌────────────────────────────────────────┐
│ generate_report_v4.py │
│ - 解析 issues 数据 │
│ - 检测新增问题(与上次 key 比对) │
│ - 计算安全评分 │
│ - 生成 HTML 详情页 │
│ - 更新历史 issue keys │
└───────────────┬────────────────────────┘
│
▼
┌────────────────────────────────────────┐
│ generate_index_v2.py │
│ - 汇总所有项目数据 │
│ - 生成总首页(统计卡片 + AI 洞察) │
│ - 生成各项目列表页 │
└───────────────┬────────────────────────┘
│
▼
┌───────────────┴────────────────────────┐
│ 推送通知(双通道) │
│ │
│ ① gitlab_mr_notify.py │
│ → 查找 open 状态的 MR │
│ → 自动回复报告链接到 MR 讨论区 │
│ │
│ ② 企业微信推送 │
│ → 推送报告摘要 + 链接到个人/群聊 │
└─────────────────────────────────────────┘
三、环境信息
3.1 服务器角色
| 角色 | IP | 端口 | 说明 |
|---|---|---|---|
| SonarQube 服务器 | 192.168.21.217 | 9000 | 代码扫描平台 |
| GitLab 服务器 | 192.168.21.217 | 80/443 | 代码仓库(与 SonarQube 同机) |
| 报告服务器 | 192.168.21.223 | 80 | Nginx 静态服务,托管 HTML 报告 |
| 审计脚本服务器 | – | – | 执行 crontab,与上述任一服务器同机 |
3.2 API 地址
| 服务 | 地址 |
|---|---|
| SonarQube Issues API | http://192.168.21.217:9000/api/issues/search?componentKeys={项目Key}&ps=500 |
| GitLab API | http://192.168.21.217/api/v4 |
| 报告访问地址 | http://192.168.21.223/{项目Key}/{时间戳}.html |
| 总首页 | http://192.168.21.223/ |
| 项目列表页 | http://192.168.21.223/{项目Key}/ |
3.3 Token / 密钥
| 服务 | Token | 用途 |
|---|---|---|
| SonarQube | sqa_38e2ceb3c6af3ea7b8b0858ad443f0887bbf78c3 |
API 认证 |
| GitLab | glpat-YKYU-8KeFhtFlCXSC4cFBm86MQp1OjMH.01.0w1mnv45z |
API 认证 |
| 企业微信 Bot ID | aibcljsJuWZ54P0Dmz9xcyhBYPgmeVyPdV4 |
QwenPaw 推送 |
| 企业微信 Secret | eku7IwFbSq76XtVBhjeonv5NExHZgcW1yhMdzxSh3DK |
QwenPaw 推送 |
3.4 企业微信会话
| 参数 | 值 |
|---|---|
| channel | wecom |
| user_id | HeWei |
| session_id | wecom:HeWei |
3.5 监控项目
| SonarQube 项目 Key | GitLab 项目 ID |
|---|---|
| php-webug4.0 | 1 |
| php-book | 2 |
| test-java | – |
3.6 crontab 配置
# 时间同步(每 30 分钟)
*/30 * * * * /usr/sbin/ntpdate -u ntp.aliyun.com >/dev/null 2>&1 && /sbin/hwclock -w 2>/dev/null || true
# SonarQube 安全审计监控(每 2 分钟)
*/2 * * * * /bin/bash /root/.qwenpaw/workspaces/default/sonarqube_notify_multi.sh >/dev/null 2>&1
四、核心组件
4.1 主调度脚本 —( sonarqube_notify_multi.sh)
职责:系统入口,负责调度整个流程。
核心逻辑:
- 读取
projects.conf获取所有项目配置 - 逐个项目调用 SonarQube API 拉取最新扫描数据
- 计算当前数据的 Hash,与上次 Hash 比对
- Hash 相同 → 静默退出;Hash 不同 → 依次触发:报告生成 → 首页更新 → GitLab MR 评论 → 企业微信推送
4.2 详情页生成 –( generate_report_v4.py)
职责:将 SonarQube API 数据转换为 HTML 可视化报告。
核心功能:
- 解析 issues 数据,按严重程度分类统计
- 与上次 issue keys 比对,检测新增问题并高亮标记
- 计算安全评分(100 分制,按严重程度扣分)
- 生成三级页面:Header → 严重程度分布 → AI 分析摘要 → 问题详情表格
- 问题详情支持筛选(严重程度、关键字搜索)
4.3 首页生成 –(generate_index_v2.py)
职责:汇总所有项目数据,生成总首页和各项目列表页。
核心功能:
- 读取各项目的
state.json获取最新状态 - 计算汇总统计(总项目数、总问题数、总新增数、平均评分)
- 生成总首页:统计卡片 + AI 智能洞察(趋势/热点/建议)
- 生成各项目列表页:最近报告列表 + 趋势分析
4.4 GitLab MR 自动评论 –(gitlab_mr_notify.py)
职责:将报告链接自动回复到 GitLab Merge Request 讨论区。
核心功能:
- 根据 SonarQube 项目 Key 查找对应的 GitLab 项目 ID(通过
GITLAB_MAP配置) - 获取该 GitLab 项目所有 open 状态的 MR
- 向每个 open MR 发送评论,内容包含扫描结果摘要 + 报告链接
4.5 配置文件 –(projects.conf)
# SonarQube 项目配置
# 格式:项目Key=项目名称=API地址
php-webug4.0=php-webug4.0=http://192.168.21.217:9000/api/issues/search?componentKeys=php-webug4.0&ps=500
php-book=php-book=http://192.168.21.217:9000/api/issues/search?componentKeys=php-book&ps=500
# SonarQube API Token
AUTH_TOKEN=sqa_xxxxx
# GitLab 配置
GITLAB_URL=http://192.168.21.217/api/v4
GITLAB_TOKEN=glpat-xxxxx
# GitLab 项目映射(SonarQube项目Key=GitLab项目ID)
GITLAB_MAP=php-webug4.0:1,php-book:2
# 企业微信推送目标
WECOM_CHANNEL=wecom
WECOM_USER=HeWei
WECOM_SESSION=wecom:HeWei
⚠️ 新增项目时,只需在此文件添加一行配置,无需修改任何脚本代码。
五、工作流程
5.1 日常运行流程
时间线:
00:00 crontab 触发 → 拉取 API → 无变化 → 静默
00:02 crontab 触发 → 拉取 API → 无变化 → 静默
...
09:30 开发者推送代码到 GitLab
09:32 crontab 触发 → 拉取 API → 发现变化!
│
├── 生成新报告:202605280932.html
├── 更新首页和列表页
├── 查找 open MR → 自动评论 ✅
└── 推送企业微信 → 个人收到通知 ✅
09:34 crontab 触发 → 拉取 API → 无变化 → 静默
5.2 新增项目流程
# 1. 在 SonarQube 中配置项目扫描(确保代码被分析)
# 2. 在 GitLab 中确认项目存在,获取项目 ID
# 3. 编辑 projects.conf,添加一行:
# 项目Key=项目名称=http://SonarQube地址/api/issues/search?componentKeys=项目Key&ps=500
# 4. 编辑 projects.conf 的 GITLAB_MAP,添加映射:
# GITLAB_MAP=原有映射,新项目Key:GitLab项目ID
# 5. 等待 crontab 自动触发,系统会自动开始监控该项目
六、部署指南
6.1 文件清单
| 文件 | 说明 |
|---|---|
sonarqube_notify_multi.sh |
主调度脚本 |
generate_report_v4.py |
详情页生成器 |
generate_index_v2.py |
首页生成器 |
gitlab_mr_notify.py |
GitLab MR 推送 |
projects.conf |
配置文件 |
6.2 部署步骤
# 1. 将脚本文件复制到服务器
sonarqube_notify_multi.sh
generate_report_v4.py
generate_index_v2.py
gitlab_mr_notify.py
projects.conf
#如 /root/.qwenpaw/workspaces/default/
# 2. 修改 projects.conf 中的配置
vim /root/.qwenpaw/workspaces/default/projects.conf
# 3. 确保 Python3 已安装(需要 3.6+)
python3 --version
# 4. 确保 Nginx 已配置静态文件服务(/var/www/html/)
# 5. 添加 crontab 定时任务
crontab -e
# 添加:*/2 * * * * /bin/bash /root/.qwenpaw/workspaces/default/sonarqube_notify_multi.sh >/dev/null 2>&1
# 6. 手动测试一次
bash /root/.qwenpaw/workspaces/default/sonarqube_notify_multi.sh
# 7. 检查日志
tail -f /tmp/sonarqube_notify_multi.log
6.3 新增项目(3 步完成)
# 1. 编辑配置文件
vim /root/.qwenpaw/workspaces/default/projects.conf
# 2. 添加项目(一行配置)
新项目Key=项目名称=http://SonarQube地址/api/issues/search?componentKeys=新项目Key&ps=500
# 3. 添加 GitLab 映射(如有)
# 修改 GITLAB_MAP 行,追加:新项目Key:GitLab项目ID
七、报告页面说明
7.1 总首页(http://192.168.21.223/)
- 统计卡片:监控项目数、历史报告数、新增问题、高危问题、平均评分
- AI 智能洞察:综合风险趋势、新增热点、优先级建议
- 各项目快速入口

7.2 项目列表页(http://192.168.21.223/php-webug4.0/)
- 项目概览:最新评分、问题总数
- 趋势分析:过去 N 份报告的变化趋势
- 历史报告列表:按时间倒序排列,支持点击查看详情
7.3 报告详情页(http://192.168.21.223/php-webug4.0/202605282118.html)
- Header:项目名、评分、更新时间、导航
- 统计指标:评分、总数、新增、高危、报告数
- 漏洞类型分布
- 严重程度分布(带进度条可视化)
- AI 智能分析摘要(本次概况、新增分析、重点关注)
- 问题详情表格(支持严重程度筛选、关键字搜索)
八、效果展示
8.1 企业微信推送
系统检测到扫描结果变化后,自动通过企业微信推送报告摘要和链接。

8.2 GitLab MR 自动评论
系统自动将报告链接回复到项目下所有 open 状态的 Merge Request 讨论区。


8.3 项目列表页

8.4 报告详情页


九、与 v1 版本对比
| 能力 | v1(旧版) | v2(当前版本) |
|---|---|---|
| 项目数量 | 单项目 | 多项目(配置文件管理) |
| 报告形式 | 纯文本推送 | HTML 可视化报告(三级页面) |
| 变化检测 | Hash 比对 | Hash 比对 + issue key 比对(检测新增) |
| 通知渠道 | 仅企微 | 企微 + GitLab MR(双通道) |
| 安全评分 | 无 | 100 分制评分 |
| 趋势分析 | 无 | 多报告趋势对比 |
| 新增高亮 | 无 | 新增问题自动标记 |
| AI 分析 | 简单摘要 | 智能洞察(趋势/热点/建议) |
十、扩展规划(v3)
10.1 自动发现 GitLab 项目映射
当前:手动在 projects.conf 中配置 GITLAB_MAP
v3 目标:通过 SonarQube 项目元数据自动匹配 GitLab 项目
10.2 Web 管理后台
- 配置可视化管理(替代手动编辑 conf 文件)
- 项目管理(添加/删除/启用/禁用)
- 报告历史查看、推送记录审计
10.3 更多通知渠道
- 钉钉群机器人
- 飞书群机器人
- 邮件通知
附录:常用命令
# 查看运行日志
tail -f /tmp/sonarqube_notify_multi.log
# 手动触发一次
bash /root/.qwenpaw/workspaces/default/sonarqube_notify_multi.sh
# 检查 crontab 是否正常
crontab -l | grep sonarqube
系列总结:本系列已完成从代码扫描、自动化触发、精准规则补充到 AI 智能分析推送的完整安全审计闭环。未来第五篇将计划探索 DeepAudit / AuditLuma 等专项工具在 CTF 等场景的应用。