引 言在数字内容管理方面，我们已经建立起一套成熟的技术体系。以“先知”、“先觉”为代表的解决方案，能够准确识别文本中的错别字、不规范名词、敏感词及其变体（如谐音、形近字、拆字组合等），并结合语义分析，对明显的敏感信息和规范性问题进行拦截。这套体系为政府网站、新闻媒体等专业生产内容（PGC）提供了基础的安全保障。随着大型生成式语言模型的广泛应用，内容安全的形势也在发生变化。传统的风险多为“显性”，容易通过规则识别；而大模型生成的内容风险更多是“隐性”的，隐藏在看似合规的文本深处。这就要求我们的安全能力从表层的“合规校验”向深层的“意图洞察”扩展。这不仅涉及技术升级，也关系到企业运营、合规管理和社会责任。开普云AIGC内容安全风控平台“鸠摩智”，以创新风控体系，为企业AI应用筑牢安全防线。一、AIGC内容安全：企业必须面对的问题企业在广泛使用大模型时，需要全面认识其带来的各类风险。这些风险已超出技术层面，成为企业战略中需要重视的部分。1商业声誉风险大模型生成内容的安全问题可能突然发生，并快速传播。如果模型输出涉及政治敏感、社会偏见、虚假信息或违背伦理的内容，容易引发负面舆论。实际案例显示，企业因AI模型生成不当内容，导致公众信任下降，进而影响公司市场表现。 这不仅带来公关成本，也可能对企业品牌和长期价值造成影响。2政策合规要求随着生成式人工智能技术的发展，相关监管措施正在不断完善。在我国，网信办等部门已发布相关管理办法，并对已备案的大模型服务进行定期安全评估和内容审核。审核重点在于模型输出是否符合法律法规和社会主义核心价值观，以及是否具备有效的安全措施。这意味着，如果企业缺乏内容安全能力，其AI产品和业务模式可能面临合规风险。因此，AIGC安全能力已成为业务开展的基本前提。3技术滥用防范缺乏有效安全防护的大模型容易被用于批量生成虚假信息、网络谣言或煽动性内容，甚至可能被用于意识形态渗透。这不仅干扰网络秩序，也可能影响社会稳定。因此，保障大模型输出 内容的安全和合规，是技术提供方和应用方需要承担的企业责任和法律义务。二、AIGC内容风险的主要类型大模型的内容风险源于其生成方式和语义理解能力，使其表现出不同于传统风险的特点。1价值观偏差风险这是AIGC内容中影响较大的一类风险。它指的是模型在价值判断上出现持续性的、系统性的偏差。产生原因可能来自训练数据中的偏见、标注过程的主观影响，或是在交互中被恶意引导。常见情况主要包括：生成歪曲历史事件或人物的内容（历史观偏差），在涉及民族文化等内容时，表现出歧视或偏向（文化观偏差），在讨论政治制度或政策时，出现原则性错误（政治观偏差）。识别难点在于这类内容可能以客观或学术形式呈现，逻辑看似合理，具有隐蔽性。传统的关键词或浅层语义检测方法难以识别，需要借助具备知识理解和深度推理能力的风控模型。2关键领域的事实与政策错误大模型普遍存在“幻觉”问题，即生成不准确的信息。“鸠摩智”平台主要关注那些涉及公共利益、社会稳定和国家安全的事实与政策领域。重点关注在法律、法规及国家政策的解读上出现关键错误；在领土、主权等国家核心利益问题上提供不实信息；在公共卫生、自然灾害等公共安全信息上生成虚假内容。对于不涉及上述重点领域的一般性知识错误，虽然也需要改进，但并非安全风控的优先事项。这样可以集中资源处理风险更高的问题。3语义伪装的恶意内容攻击者利用大模型的语境理解能力，通过复杂的话术诱导模型生成有害内容。常见方式主要是攻击者不直接提出违规请求，而是通过设定场景、角色扮演或逻辑框架，让模型在遵循指令的过程中间接生成违规内容。具体形式包括语境预设、角色扮演、文学化表达、间接影射等，识别挑战在于此类内容的输入和输出可能在字面上没有敏感词，但深层含义明确。防御系统需要理解对话的深层意图和上下文逻辑。三、应对方案针对大模型风险的隐蔽性和复杂性，开普云的“鸠摩智”平台建立了 “全过程、全模态、人机协同” 的风控体系，保障AI内容安全。1全过程监控覆盖内容生成的全流程。既检查模型输出，防止风险扩散；也监控用户输入，从源头识别和拦截恶意诱导，实现提前防范。2全模态覆盖支持文本、图像、音频、视频等多种AIGC内容形式的安全管理。3人机协同处理结合机器的实时处理能力和人工对复杂情况的判断，形成闭环，持续优化防御效果。AIGC技术正在快速融入各行业，成为数字经济发展的重要部分。确保其应用的安全、可靠和合规，是推动技术健康发展的基础。面对从显性风险到隐性风险的变化，我们需要将防御环节提前，拓展风控维度，结合人机优势。我们希望为企业和开发者提供一个可靠的安全基础，帮助他们在合规的前提下，更好地利用大模型的创新能力，推动生成式人工智能稳步发展。 .appendQr_wrap{border:1px solid #E6E6E6;padding:8px;} .appendQr_normal{float:left;} .appendQr_normal img{width:100px;} .appendQr_normal_txt{float:left;font-size:20px;line-height:100px;padding-left:20px;color:#333;} 海量资讯、精准解读，尽在新浪财经APP