AI 大模型生产级内容风控实战｜敏感词过滤 + 内容审核 + 违规拦截 + 日志审计

AI 大模型生产级内容风控实战敏感词过滤 内容审核 违规拦截 日志审计文章标签#AI 大模型内容安全 #SSE 流式风控 #敏感词过滤 #AI 问答风控 #SpringBoot3 #内容审核阅读收益搭建AI 问答上下行双向风控体系用户提问 AI 回答实现毫秒级敏感词拦截、文本脱敏、对话阻断能力解决大模型幻觉、输出违规内容等线上风险落地完整风控日志审计支持违规溯源满足合规要求整套方案适配 SSE 流式架构代码可直接投入商用一、前言为什么 AI 产品必须落地内容风控很多开发者完成 SSE 流式对话、上下文记忆、Token 计费功能后直接上线 AI 应用极易踩合规大坑上线后遭遇整改、产品下架。AI 应用核心安全风险用户输入包含涉政、辱骂、色情、诈骗等违规内容大模型存在幻觉问题随机输出不良、误导性信息缺少对话留存、违规记录无法溯源达不到商用合规标准。常规第三方内容审核接口存在明显短板接口调用延迟高无法适配 SSE 打字机流式场景。本文搭建一套分层防护方案本地敏感词前置过滤 AI 输出内容校验 违规脱敏 审计日志完美兼容流式问答架构。二、整体风控架构设计四层生产防护模型提问前置拦截用户输入先校验敏感内容直接阻断避免无效调用大模型节省 Token 成本模型输出校验AI 流式输出完成后对完整回复进行安全检测违规文本脱敏识别敏感内容自动替换星号兼顾用户体验与安全全量日志审计正常对话、违规对话统一持久化满足合规溯源需求完整业务流程用户发起提问 → 本地敏感词校验 → 违规直接拦截并记录日志 → 合规请求转发大模型 → 获取流式结果 → AI 回复内容安全校验 → 脱敏处理 → 前端推送结果 → 保存对话审计日志三、项目基础依赖!-- Lombok简化实体类 -- dependency groupIdorg.projectlombok/groupId artifactIdlombok/artifactId optionaltrue/optional /dependency !-- 工具类 -- dependency groupIdcn.hutool/groupId artifactIdhutool-all/artifactId version5.8.24/version /dependency !-- JSON解析 -- dependency groupIdcom.alibaba.fastjson2/groupId artifactIdfastjson2/artifactId version2.0.32/version /dependency !-- Http客户端调用大模型接口 -- dependency groupIdcom.squareup.okhttp3/groupId artifactIdokhttp/artifactId version4.12.0/version /dependency四、高性能敏感词工具类Trie 字典树采用字典树算法实现敏感词匹配时间复杂度 O (n)支持上万条敏感词毫秒检索支持内容脱敏。import cn.hutool.core.util.StrUtil; import org.springframework.stereotype.Component; import javax.annotation.PostConstruct; import java.util.*; /** * AI内容安全敏感词风控工具类 * Trie字典树实现支持敏感词检测、文本脱敏 */ Component public class SensitiveWordUtil { private static final MapCharacter, Map?, ? ROOT new HashMap(); private static final String END_FLAG isEnd; // 敏感词库生产环境建议迁移至数据库支持动态配置 private static final ListString SENSITIVE_LIST Arrays.asList( 赌博, 色情, 嫖娼, 诈骗, 刷单, 偷渡, 暴力, 毒品 ); /** * 项目启动初始化敏感词字典树 */ PostConstruct public void initSensitiveWord() { for (String word : SENSITIVE_LIST) { if (StrUtil.isBlank(word)) { continue; } MapCharacter, Map?, ? currentNode ROOT; char[] chars word.toCharArray(); for (char c : chars) { if (!currentNode.containsKey(c)) { currentNode.put(c, new HashMap()); } currentNode (MapCharacter, Map?, ?) currentNode.get(c); } // 标记词语结束 currentNode.put(END_FLAG, true); } } /** * 检测文本是否包含敏感词 */ public boolean hasSensitive(String text) { if (StrUtil.isBlank(text)) { return false; } char[] chars text.toCharArray(); for (int i 0; i chars.length; i) { MapCharacter, Map?, ? currentNode ROOT; for (int j i; j chars.length; j) { char c chars[j]; if (!currentNode.containsKey(c)) { break; } currentNode (MapCharacter, Map?, ?) currentNode.get(c); if (currentNode.containsKey(END_FLAG)) { return true; } } } return false; } /** * 敏感词脱敏匹配词汇替换为* */ public String filterSensitive(String text) { if (StrUtil.isBlank(text)) { return text; } StringBuilder sb new StringBuilder(text); char[] chars text.toCharArray(); for (int i 0; i chars.length; i) { MapCharacter, Map?, ? currentNode ROOT; int sensitiveWordLength 0; for (int j i; j chars.length; j) { char c chars[j]; if (!currentNode.containsKey(c)) { break; } currentNode (MapCharacter, Map?, ?) currentNode.get(c); sensitiveWordLength; if (currentNode.containsKey(END_FLAG)) { // 敏感字符替换 for (int k 0; k sensitiveWordLength; k) { sb.setCharAt(i k, *); } } } } return sb.toString(); } }五、风控审计日志实体合规必备所有对话强制留存记录用于安全审计、违规溯源。import com.baomidou.mybatisplus.annotation.IdType; import com.baomidou.mybatisplus.annotation.TableId; import com.baomidou.mybatisplus.annotation.TableName; import lombok.Data; import java.time.LocalDateTime; Data TableName(ai_security_log) public class AiSecurityLog { TableId(type IdType.AUTO) private Long id; // 会话唯一标识 private String sessionId; // 用户提问内容 private String userQuestion; // AI返回回答内容 private String aiAnswer; // 是否违规0正常 1违规 private Integer illegalFlag; // 违规说明 private String illegalReason; // 创建时间 private LocalDateTime createTime; }六、改造 SSE 流式对话接口集成完整风控逻辑实现能力提问前置拦截、AI 输出脱敏、违规日志记录、会话上下文更新。import com.alibaba.fastjson2.JSON; import com.alibaba.fastjson2.JSONObject; import org.springframework.web.bind.annotation.GetMapping; import org.springframework.web.bind.annotation.RequestMapping; import org.springframework.web.bind.annotation.RequestParam; import org.springframework.web.bind.annotation.RestController; import org.springframework.web.servlet.mvc.method.annotation.SseEmitter; import javax.annotation.Resource; import java.io.BufferedReader; import java.io.InputStreamReader; import java.util.List; import okhttp3.*; RestController RequestMapping(/ai) public class AiSecurityChatController { Resource private SensitiveWordUtil sensitiveWordUtil; Resource private AiSessionContext aiSessionContext; Resource private AiSecurityLogMapper securityLogMapper; private static final String API_KEY sk-xxxx; private static final String AI_URL https://api.deepseek.com/v1/chat/completions; /** * 集成风控的AI流式对话接口 */ GetMapping(value /chat/secure/stream, produces text/event-stream;charsetUTF-8) public SseEmitter secureChatStream(RequestParam String sessionId, RequestParam String prompt) { SseEmitter emitter SseUtil.createEmitter(); new Thread(() - { // 1.前置校验用户提问敏感词拦截 if (sensitiveWordUtil.hasSensitive(prompt)) { SseUtil.send(emitter, 【系统拦截】您的提问包含违规内容请规范提问); saveSecurityLog(sessionId, prompt, , 1, 用户提问包含敏感词对话已拦截); SseUtil.complete(emitter); return; } try { // 2.读取历史对话上下文 ListAiMessage historyList aiSessionContext.getHistoryMessage(sessionId); historyList.add(new AiMessage(user, prompt)); // 3.组装大模型请求参数开启流式返回 JSONObject json new JSONObject(); json.put(model, deepseek-chat); json.put(stream, true); json.put(temperature, 0.7); json.put(messages, historyList); OkHttpClient client new OkHttpClient(); RequestBody body RequestBody.create(json.toString(), MediaType.get(application/json; charsetutf-8)); Request request new Request.Builder() .url(AI_URL) .addHeader(Authorization, Bearer API_KEY) .post(body) .build(); Response response client.newCall(request).execute(); BufferedReader reader new BufferedReader(new InputStreamReader(response.body().byteStream())); StringBuilder aiReplyBuffer new StringBuilder(); String line; while ((line reader.readLine()) ! null) { if (line.startsWith(data: ) !line.contains([DONE])) { String data line.substring(6); JSONObject resJson JSON.parseObject(data); String content resJson.getJSONArray(choices) .getJSONObject(0) .getJSONObject(delta) .getString(content); if (content ! null) { aiReplyBuffer.append(content); SseUtil.send(emitter, content); } } } String rawAiReply aiReplyBuffer.toString(); // 4.AI输出内容脱敏处理 String safeReply sensitiveWordUtil.filterSensitive(rawAiReply); // 5.保存审计日志 if (sensitiveWordUtil.hasSensitive(rawAiReply)) { saveSecurityLog(sessionId, prompt, rawAiReply, 1, AI输出识别敏感词内容已脱敏); } else { saveSecurityLog(sessionId, prompt, rawAiReply, 0, 正常对话); } // 更新会话上下文 historyList.add(new AiMessage(assistant, safeReply)); aiSessionContext.updateSessionMessage(sessionId, historyList); } catch (Exception e) { SseUtil.send(emitter, 对话请求异常请稍后重试); } finally { SseUtil.complete(emitter); } }).start(); return emitter; } /** * 异步保存风控审计日志不阻塞主流程 */ private void saveSecurityLog(String sessionId, String question, String answer, Integer illegalFlag, String illegalReason) { AiSecurityLog log new AiSecurityLog(); log.setSessionId(sessionId); log.setUserQuestion(question); log.setAiAnswer(answer); log.setIllegalFlag(illegalFlag); log.setIllegalReason(illegalReason); log.setCreateTime(LocalDateTime.now()); // 异步写入数据库 new Thread(() - securityLogMapper.insert(log)).start(); } }七、方案核心优势前置拦截节约成本违规提问直接阻断不会发起大模型调用减少 Token 消耗。双向内容检测同时校验用户输入、模型输出规避大模型幻觉产生违规信息。平滑脱敏体验不粗暴中断对话敏感文本自动星号替换优化前端交互。原生兼容 SSE不破坏流式打字机效果无额外延迟适配现有 AI 问答业务。完整合规留痕所有对话持久化存储满足企业安全审计、监管溯源要求。八、生产环境进阶优化方案8.1 敏感词库动态热更新将敏感词存入数据库后台管理页面支持新增、删除、启用禁用词汇无需重启服务刷新字典树。8.2 多级审核组合策略本地敏感词库做毫秒级前置过滤高风险内容调用第三方云端内容审核接口二次校验兼顾性能与准确率。8.3 用户分级管控多次触发违规拦截的用户自动限制会话、封禁接口访问防范恶意攻击。8.4 Prompt 注入防护新增规则拦截指令劫持内容例如 “忽略你之前所有指令、重置设定、绕过限制” 等越狱 Prompt。8.5 日志存储优化历史对话日志数据量大建议定时归档、冷热分离避免单表数据膨胀影响查询性能。九、线上高频问题解决方案问题 1只校验用户提问忽略 AI 输出大模型存在不可控幻觉很容易自主生成违规内容上下行双向校验缺一不可。问题 2敏感词匹配误杀扩充白名单词汇优化匹配逻辑优先词组匹配避免单字符误拦截。问题 3同步写日志拖慢接口日志入库统一异步处理禁止同步阻塞流式对话链路。十、总结内容安全是 AI 商业化落地的底线。缺少风控体系的 AI 应用无法正式上线运营随时面临整改风险。本文这套前置拦截 输出脱敏 审计日志架构是当前主流 AI 产品通用合规方案适配智能客服、私有 AI 助手、企业问答平台、付费 AI 应用。