RTX 4090 本地大模型部署与安全场景对比测试

结论：

• 推荐：Qwen2.5-Coder 14B —— 漏洞检出率最高（10个），响应最快（15秒），分析准确，完全 GPU 加速
• 备选：DeepSeek-R1 14B —— 检出率较低（1个），速度较慢（76秒），但适合复杂攻击链分析等深度推理场景
• 不推荐：Qwen3:27B —— 显存不足导致 CPU 混合推理，性能抖动明显，响应延迟高

wget https://ollama.com/download/ollama-linux-amd64.tar.zst
tar -xf ollama-linux-amd64.tar.zst -C /
ollama -v

vi /etc/systemd/system/ollama.service

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_ORIGINS=*"
ExecStart=/usr/bin/ollama serve
Restart=always
RestartSec=3
User=ollama
Group=ollama

[Install]
WantedBy=multi-user.target

useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
usermod -a -G ollama $(whoami)
usermod -a -G video ollama
usermod -a -G render ollama

systemctl daemon-reexec
systemctl daemon-reload
systemctl enable ollama
systemctl start ollama
systemctl status ollama

三、安装模型

1、Qwen2.5-Coder 14B（推荐）

ollama pull qwen2.5-coder:14b

ollama pull deepseek-r1:14b

ollama pull qwen3:27b

四、运行测试

启动模型

ollama run qwen2.5-coder:14b
ollama run deepseek-r1:14b
ollama run qwen3:27b
ollama ps   #确认 GPU 是否生效

五、GPU 状态监控

1、实时监控命令

watch -n 1 nvidia-smi

2）qwen3:27b 模型输出示例（混合推理）：

nvidia-smi
journalctl -u ollama -f | grep -i cuda
id ollama

六、安全扫描场景对比测试

使用同一扫描器（Zack-AI-Scanner）、同一目标（http://192.168.25.207/control/login.php）、同一载荷集进行对比测试。

2、详细分析

1）Qwen2.5-Coder 14B（表现最佳）

• 发现 10 个 SQL 注入漏洞
• 对每个载荷都有具体分析，例如判断 ' OR '1'='1 导致 302 Found 并重定向到 we_bug_env.php，证明存在 SQL 注入
• 能够识别不同注入位置（username、password、Cookie、submit 参数）
• 响应速度快，用户体验流畅

2）DeepSeek-R1 14B（表现一般）

• 仅发现 1 个 SQL 注入漏洞
• 分析粒度较粗，描述泛化（仅提到“响应包含 MySQL 错误”）
• 未能识别多个注入点
• 速度明显慢于 Qwen（76秒 vs 15秒）

3）Qwen3:27B（不推荐）

• 显存需求 25~30GB，超出 4090 单卡容量
• 必然发生 CPU offload，导致混合推理
• 性能抖动明显，响应延迟高
• 即使优化参数（OLLAMA_CONTEXT_LENGTH=8192、OLLAMA_MAX_LOADED_MODELS=1）仍无法避免 CPU 参与
• 结论：可以运行，但体验一般，不建议作为主力

七、常用管理命令

ollama list                    # 查看本地模型
ollama ps                      # 查看当前运行模型
ollama stop <模型名>            # 停止模型
pkill ollama                   # 强制释放显存

curl http://127.0.0.1:11434/api/generate -d '{
  "model": "qwen2.5-coder:14b",
  "prompt": "分析以下代码的SQL注入风险：..."
}'

安全/IT 场景提示词示例

• 漏洞分析：分析以下HTTP请求/响应，判断是否存在SQL注入漏洞
• 日志分析：分析以下nginx错误日志，找出可能的安全问题
• 脚本生成：写一个bash脚本，批量扫描某网段的22端口是否开放
• 漏洞解读：解释CVE-2024-XXXX的漏洞原理和修复方案

九、性能优化建议

export OLLAMA_NUM_PARALLEL=1   # 限制并发
export OLLAMA_KEEP_ALIVE=0     # 自动释放显存

export OLLAMA_CONTEXT_LENGTH=8192
export OLLAMA_MAX_LOADED_MODELS=1