这是一本针对开发人员和安全团队的实用指南（200页），聚焦于构建使用大型语言模型（LLMs）的软件时面临的独特安全挑战，提供了现实世界的指导和可操作的策略，帮助应对LLM应用的安全风险。

主要章节内容概述：

第1章：以微软Tay聊天机器人为例，阐述了LLM应用在实际部署中可能遭遇的安全问题，如被黑客利用导致生成不当内容，分析了其失败原因，引出LLM安全的重要性。

第2章：介绍了OWASP组织以及OWASP Top 10 for LLM Applications项目的背景、执行过程、 reception和成功关键，说明该书籍与Top 10列表的关联，为后续探讨LLM安全风险提供框架。

第3章：探讨了AI、神经网络和LLM的区别，Transformer架构的起源和影响，LLM应用的类型和架构，重点分析了LLM应用中的信任边界，包括模型、用户交互、训练数据、外部数据源访问和内部服务访问等方面。

第4章：详细介绍了提示注入攻击的示例（如强制建议、反向心理、误导、通用和自动化对抗性提示）、影响，区分了直接和间接提示注入，提出了多种缓解策略，如速率限制、基于规则的输入过滤、使用专用LLM进行过滤、添加提示结构、对抗性训练和定义悲观信任边界等。

第5章：通过Lee Luda和GitHub Copilot等案例，探讨了LLM过度获取知识可能导致的敏感信息泄露风险，分析了模型训练（基础模型训练、模型微调及相关风险）、检索增强生成（直接Web访问、数据库访问）和从用户交互中学习等知识获取方法带来的安全问题及缓解措施。

第6章：研究了LLM幻觉现象，包括其产生原因、类型（事实不准确、无支持的主张、能力误传、矛盾陈述），通过虚构法律先例、航空公司聊天机器人诉讼、无意的人物诽谤和开源包幻觉等案例展示其影响，探讨了责任归属，并提出了扩展领域特定知识、链式思维提示、反馈循环、清晰沟通预期用途和局限性以及用户教育等缓解最佳实践。

第7章：基于零信任理念，阐述了在LLM应用中实施零信任架构的重要性，包括限制LLM的无监督代理权限和对LLM输出进行积极过滤，讨论了过度代理的风险（过度权限、过度自治、过度功能），以及如何构建输出过滤器来处理毒性输出、PII披露和防止意外代码执行等问题。

第8章：分析了针对LLM的拒绝服务（DoS）、拒绝钱包（DoW）和模型克隆攻击，介绍了DoS攻击的类型（基于 volume的攻击、协议攻击、应用层攻击），探讨了模型DoS攻击（稀缺资源攻击、上下文窗口耗尽、不可预测的用户输入）、DoW攻击和模型克隆的原理，提出了领域特定的护栏、输入验证和 sanitization、强大的速率限制、资源使用上限、监控和警报以及财务阈值和警报等缓解策略。

第9章：聚焦软件供应链安全，从供应链基础知识出发，通过Equifax数据泄露、SolarWinds黑客攻击和Log4Shell漏洞等案例说明软件供应链安全的重要性，分析了LLM供应链的独特风险（开源模型风险、训练数据投毒、意外不安全的训练数据、不安全的插件），介绍了创建用于跟踪供应链的工件（SBOMs、模型卡片、CycloneDX、ML-BOM），并探讨了LLM供应链安全的未来（数字签名和水印、漏洞分类和数据库）。

第10章：结合《独立日》和《2001太空漫游》两部科幻电影中的AI安全漏洞情节，以OWASP Top 10 for LLM Applications为框架进行分析，总结其中的安全教训，强调在LLM应用中设计零信任和最小权限原则以及在关键活动中实施“人在回路”设计原则的重要性。

第11章：讨论了DevSecOps的演变以及如何将安全构建到LLMOps中，包括LLMOps的安全措施（基础模型选择、数据准备、验证、部署、监控），软件开发过程中的安全（CI/CD安全、LLM特定安全测试工具、供应链管理），应用保护（护栏的作用、开源与商业护栏解决方案、混合自定义和打包护栏），应用监控（记录每个提示和响应、集中日志和事件管理、用户和实体行为分析），构建AI红队（优势、与渗透测试的区别、工具和方法）以及持续改进（建立和调整护栏、管理数据访问和质量、利用RLHF进行对齐和安全）。

第12章：分析了推动LLM能力提升的趋势（GPU、云、开源、多模态、自主代理），提出了负责任的人工智能软件工程（RAISE）框架，包括限制领域、平衡知识库、实施零信任、管理供应链、构建AI红队和持续监控六个步骤，并提供了RAISE清单，帮助读者规划、组织和实现安全可靠的LLM应用开发目标。

本文原文件及下列文件已上传至星球球

大模型安全开发者指南：构建安全的AI应用.pdf

DeepSeek-V4官方技术文档.pdf

GPT-5.5官方技术文档.pdf

2026“人工智能+”行业发展蓝皮书.pdf

2026年国际人工智能安全报告.pdf

人工智能安全与治理现状.pdf

AI安全新人科普扫盲.pdf

生成式AI安全：防御、威胁与漏洞.pdf

智能体安全标准化研究.pdf

大模型PPT

-