立案那天我手里只有一个SpringBoot的空工程和一份讯飞星火大模型的API文档。要做的事却很明确把这个大模型能力接进来做成一个能听懂人话、能查数据、能出分析结论的“智能数据分析助手”。折腾了大概一个周末从鉴权握手到流式响应从提示词调优到结果落库整条链路完全跑通。现在回头看这个过程看似简单但里面有不少坑尤其对于第一次接触大模型API后端接入的同学来说任何一个环节卡住都会让人抓狂。这篇文章我打算完整复盘整个项目从需求拆解、技术选型、SpringBoot工程搭建到星火API的鉴权、请求封装、流式接收再到分析助手的提示词工程和结构化解析最后把实测中遇到的高频问题全部列出来。内容适合两类人一类是想在Java后端项目里接入讯飞星火大模型AI的开发者另一类是准备做大模型应用毕设或公司内部数据分析工具的同学。看完你不仅能复刻这个助手还能理解每步为什么这么做。1. 项目整体设计为什么拿SpringBoot来接大模型1.1 智能数据分析助手到底解决什么问题先说清楚这个助手是干什么的。大多数公司或团队的数据分析现状是SQL写得好的人没时间业务方有需求却看不懂数据表。传统的做法是让业务方提需求、数据团队写SQL、再出报表一来一回少说半天。而接入大模型之后前后端交互模式完全变了。业务方直接输入一句自然语言比如“统计最近30天各渠道的订单量和销售额按渠道倒序排列”助手理解意图、匹配表结构、生成查询逻辑、执行查询最后把结果整理成一份带结论的分析摘要返回给用户。用户看到的是一问一答后端干的事却不少接收请求、管理会话、调用星火API、执行数据查询、拼接上下文、解析大模型输出。这些逻辑如果全部塞在Servlet里会非常混乱所以我选择了SpringBoot它的自动装配、依赖管理和分层架构能把这些职责天然拆开。1.2 技术选型SpringBoot 2.x还是3.x这是很多人第一步就被卡住的问题。我当时参考了官方文档的Java环境要求又结合团队现有技术栈最终选了SpringBoot 2.7.13。原因主要有三个第一SpringBoot 3.x强制要求JDK 17及以上而很多公司的生产环境还停留在JDK 8如果为了接入大模型逼着运维升级JDK推动成本很高。第二星火API官方提供的Java SDK对SpringBoot 2.x支持得最好网上踩坑资料也多遇到问题容易查。第三SpringBoot 2.7还在社区维护期内安全漏洞有官方修复拿来对接外部API完全够用。如果你实在想用SpringBoot 3.x也不是不行但要注意javax.servlet包已经改名为jakarta.servlet很多老SDK直接引入会报ClassNotFoundException需要额外做兼容处理不值当。对比项SpringBoot 2.7.xSpringBoot 3.xJDK版本要求JDK 8及以上JDK 17及以上javax/jakartajavax.servletjakarta.servlet第三方SDK兼容性大多数兼容良好部分老SDK不兼容需改造社区资料丰富度很丰富较丰富但新坑多推荐场景企业现有JDK8环境新项目且JDK17已就绪如果让我给建议个人学习或新项目直接上SpringBoot 2.7省心团队已经全面JDK 17那就用3.x性能差异其实不大关键看生态环境。1.3 整体架构与接口设计整个系统我分了四层Controller层负责HTTP入口Service层处理业务编排AIService层专门封装星火API调用DataService层负责查询数据库。层与层之间通过接口解耦星火API的任何变动都只在AIService内部消化。接口设计上我暴露了两个核心端点POST /api/chat接收用户消息同步返回助手回复适合调试和简单问答。POST /api/chat/stream接收用户消息通过SSE流式返回适合前端打字机效果。在数据层我设计了一张简单的表analysis_records记录每次分析请求的ID、用户问题、生成的SQL、执行耗时、大模型原始回复和处理结果。这张表一方面用来做日志审计另一方面也能沉淀高质量的人机对话样本后续可以拿来做微调或效果评估。2. 环境准备与项目初始化2.1 开发环境与依赖版本说明工欲善其事必先利其器。我先把你需要的环境列个清单JDK 8我用的是JDK 8Maven 3.6IDEA 2022版以上社区版够用MySQL 5.7用于存储分析记录讯飞开放平台账号并创建星火大模型应用Maven依赖方面核心的是SpringBoot Web、MyBatis-Plus、Hutool工具包、Fastjson2和WebSocket客户端。因为星火API走的WebSocket协议Java标准库没有好用的WebSocket客户端我用了Java-WebSocket这个轻量库使用门槛低几分钟就能跑通。dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-web/artifactId /dependency dependency groupIdcom.baomidou/groupId artifactIdmybatis-plus-boot-starter/artifactId version3.5.3.1/version /dependency dependency groupIdcn.hutool/groupId artifactIdhutool-all/artifactId version5.8.18/version /dependency dependency groupIdcom.alibaba.fastjson2/groupId artifactIdfastjson2/artifactId version2.0.36/version /dependency dependency groupIdorg.java-websocket/groupId artifactIdJava-WebSocket/artifactId version1.5.3/version /dependency2.2 创建SpringBoot工程与基础配置我习惯直接用IDEA自带的Spring Initializr创建工程。选好SpringBoot版本后勾选Spring Web和MySQL Driver直接Generate。这里有个小技巧创建完成后手动在pom.xml里加上MyBatis-Plus和Hutool等依赖版本号用自己验证过的别盲目用最新的版本兼容性坑太多。application.yml配置如下server: port: 8080 spring: datasource: url: jdbc:mysql://localhost:3306/ai_assistant?useUnicodetruecharacterEncodingutf8useSSLfalse username: root password: 123456 jackson: date-format: yyyy-MM-dd HH:mm:ss # 星火配置 spark: app-id: 你的APPID api-key: 你的APIKey api-secret: 你的APISecret host-url: wss://spark-api.xf-yun.com/v3.5/chat注意host-url的值取决于你开通的是哪个版本的星火模型V3.5的地址就是上面这个V2.0、V1.5都不一样以控制台实际展示为准。2.3 星火API的鉴权与接入参数星火的鉴权逻辑和OpenAI的Bearer Token不一样它是通过Authorization请求头里的临时签名完成的。每次WebSocket握手时动态生成一个带时间戳和签名的URL确保请求是合法的。鉴权URL的生成规则我简单说下核心思路把host、date、request-line拼接成签名原串用HMAC-SHA256加密后做Base64编码最后拼成Authorization: Bearer 签名。其中date必须是RFC1123格式的当前时间request-line格式是GET /v3.5/chat HTTP/1.1。这些细节官方文档有但很多初次接入的人容易在这里栽跟头常见的坑是时区不对导致签名过期。3. 核心实现星火API接入与调用封装3.1 配置类与自动装配我写了一个SparkProperties配置类用ConfigurationProperties绑定yml里的spark配置项。这样在Service里只需要Autowired进来就能用配置集中管理改个密钥不用动代码。Component ConfigurationProperties(prefix spark) Data public class SparkProperties { private String appId; private String apiKey; private String apiSecret; private String hostUrl; }这里要注意的是ConfigurationProperties默认不会自动生效需要配合Component或EnableConfigurationProperties使用。如果你在SpringBoot 2.7里用这个注解扫描不到值检查一下是否忘了加Component或者yml里的缩进格式不对。3.2 构造鉴权URL与请求参数鉴权URL生成是整个接入中技术含量最高的部分。我封装了一个方法generateAuthUrl过程分为四步拼接签名原串、计算签名、拼接新URL、返回可用的WebSocket地址。public static String generateAuthUrl(String hostUrl, String apiKey, String apiSecret) throws Exception { URI uri new URI(hostUrl); String host uri.getHost(); String path uri.getPath(); SimpleDateFormat format new SimpleDateFormat(EEE, dd MMM yyyy HH:mm:ss z, Locale.US); format.setTimeZone(TimeZone.getTimeZone(GMT)); String date format.format(new Date()); String preStr host: host \n date: date \n GET path HTTP/1.1; Mac mac Mac.getInstance(HmacSHA256); SecretKeySpec spec new SecretKeySpec(apiSecret.getBytes(StandardCharsets.UTF_8), HmacSHA256); mac.init(spec); byte[] rawSign mac.doFinal(preStr.getBytes(StandardCharsets.UTF_8)); String signature Base64.getEncoder().encodeToString(rawSign); String authorization Base64.getEncoder().encodeToString( (api_key\ apiKey \, algorithm\hmac-sha256\, headers\host date request-line\, signature\ signature \).getBytes(StandardCharsets.UTF_8)); return hostUrl ?authorization authorization date URLEncoder.encode(date, UTF-8) host host; }这段代码的关键在于签名原串的换行符必须是\n不能是\r\n否则Linux和Windows环境下生成的签名会不一致。这个坑我踩过Windows本地能通、Linux服务器上401排查了半天才发现是换行符的问题。请求参数的JSON结构也很有讲究星火的API协议分两层header和parameter。header里带app_idparameter里带chat参数和你选择的模型版本domainpayload里才是真正的messages内容。{ header: { app_id: xxxx, uid: user_001 }, parameter: { chat: { domain: generalv3.5, temperature: 0.5, max_tokens: 2048 } }, payload: { message: { text: [ {role: user, content: 统计最近30天各渠道的订单量} ] } } }domain参数这里要额外注意V1.5模型填generalV2.0填generalv2V3.5填generalv3.5。填错模型版本会直接返回10163错误码这是很多人第一次接入时的头号报错。3.3 WebSocket流式接收与大模型响应处理星火的响应是流式的也就是说大模型是一个字一个字或一句话一句话生成的不像普通HTTP接口一次性返回。因此需要写WebSocket客户端在onMessage回调里不断接收AI返回的增量内容最后再拼成完整结果。我封装了一个SparkAIClient类核心结构如下public class SparkAIClient extends WebSocketClient { private StringBuilder fullAnswer new StringBuilder(); private StringBuffer statusBuffer new StringBuffer(); public SparkAIClient(URI serverUri) { super(serverUri); } Override public void onOpen(ServerHandshake handshakedata) { System.out.println(WebSocket连接已打开); } Override public void onMessage(String message) { JSONObject obj JSON.parseObject(message); JSONObject payload obj.getJSONObject(payload); if (payload null) return; JSONObject choices payload.getJSONObject(choices); if (choices null) return; JSONArray text choices.getJSONArray(text); if (text null || text.isEmpty()) return; String content text.getJSONObject(0).getString(content); fullAnswer.append(content); } Override public void onClose(int code, String reason, boolean remote) { System.out.println(连接关闭: code , reason); } Override public void onError(Exception ex) { ex.printStackTrace(); } }onMessage里最关键的是判断状态码status当status为2时表示所有内容已经推送完毕可以结束接收并返回完整结果了。我的做法是在外部循环里判断一个isComplete标志位收到status2后置为true循环跳出再对fullAnswer做后处理。3.4 把大模型回复封装成统一接口返回大模型的流式返回是分段JSON直接暴露给前端非常不友好。我在Service层做了一层适配把所有Stream输出拼成完整文本后再统一封装成接口返回体Data public class ChatResponse { private String reply; private Integer status; private ListAnalysisResult analysisResults; private Long costTime; }其中analysisResults是数据分析助手的特色字段当大模型返回的内容里带有结构化查询结果时解析后填到这个列表里。前端拿到这个结构既可以直接展示回复文本也可以单独渲染表格。4. 数据分析助手提示词工程与业务逻辑4.1 分析任务的拆分与提示词模板设计让大模型真正成为数据分析助手关键在于提示词。你不能直接丢一句“帮我分析一下订单数据”然后等着它给你瞎编而是要通过Prompt设计让模型先理解表结构再拆解需求最后按指定格式输出。我在代码里维护了一套提示词模板核心思路是“角色设定 表结构说明 输出格式约束”三段式你是一个专业的数据分析师你的任务是根据用户问题从以下数据表结构中识别需要的字段并生成可执行的SQL查询。 数据表: 表名: orders 字段: order_id, user_id, channel, amount, create_time, status 表名: users 字段: user_id, name, register_time, city 要求: 1. 根据用户问题判断需要的表和字段 2. 生成SQL查询语句不要使用不存在的字段 3. 如果用户需要的是分析结论请在SQL执行结果的基础上给出文字总结 用户问题: {} 请按以下JSON格式返回: {sql: 具体的SQL语句, summary: 分析方法的简要说明}这个模板的作用是把大模型的注意力限制在我们的数据范围内避免它胡编乱造字段名。实际使用中这个模板生产的SQL准确率能达到90%以上剩下的10%基本是字段名拼写或表名理解错误可以通过报错信息反哺修正。4.2 结构化输出的解析与校验大模型返回的内容虽然是按照我们要求的JSON格式但偶尔也会多输出几句解释性文字。比如返回了好的根据您的需求我生成了以下SQL {sql: SELECT ..., summary: ...}这种时候直接用JSON.parseObject解析会报错。我用了一个很实用的预处理函数把大模型返回的文本先提取出第一个{到最后一个}之间的内容再当JSON解析。这个方法不能解决所有问题但能覆盖95%以上的场景。public static JSONObject parseJsonFromText(String text) { int begin text.indexOf({); int end text.lastIndexOf(}); if (begin -1 || end -1) { throw new RuntimeException(无法从回复中提取JSON); } String jsonStr text.substring(begin, end 1); return JSON.parseObject(jsonStr); }拿到SQL后不能直接丢给数据库执行。要做一个简单的白名单校验禁止DROP、DELETE、UPDATE等危险操作只允许SELECT开头的查询语句。这是数据安全的基本底线别图省事跳过。4.3 数据库查询与结果集格式化SQL校验通过后我用MyBatis-Plus的Select注解动态执行查询。注意MyBatis的${}方式可能存在SQL注入风险但这里SQL本身是大模型生成的再经过程序校验风险是可控的。更稳妥的方案是走JDBC的PreparedStatement但那样逻辑会更复杂作为第一版我用的是MyBatis结合白名单校验。查询结果是个ListMapString, Object直接返回给前端不够友好。我在返回前做了一个格式化把列名转成中文别名通过字段映射表金额和百分比保留两位小数日期格式统一成yyyy-MM-dd。这样前端拿到数据后基本不用再处理格式。4.4 异步任务与结果缓存优化数据分析类的请求通常比普通问答耗时更长因为除了大模型推理还要执行SQL。我一开始是同步调用用户请求发出后要等大模型返还、再查库、再拼装结果总耗时在8到15秒之间体验很差。后来优化成两步走接口先返回一个taskId后台用Spring的Async线程池异步执行完整分析链路执行完成后通过AnalysisTaskService更新任务状态。前端轮询/api/task/{taskId}获取结果即可。Async(analysisExecutor) public void doAnalysis(String question, String taskId) { long start System.currentTimeMillis(); try { String sql aiService.generateSql(question); ListMapString, Object result dataService.executeQuery(sql); String summary aiService.generateSummary(question, sql, result); taskService.completeTask(taskId, sql, result, summary, System.currentTimeMillis() - start); } catch (Exception e) { taskService.failTask(taskId, e.getMessage()); } }同时我引入了一个简单缓存相同的用户问题在10分钟内直接返回缓存结果不再重复生成SQL和查询数据库。缓存用Spring的Cacheable注解加Redis实现工程量不大但对重复性分析请求的响应速度提升非常明显。5. 常见问题与排查技巧实录5.1 SpringBoot版本太高引发的连锁问题这绝对是我要放在最前面说的一个坑。一开始我在IDEA里新建项目时手滑选了SpringBoot 3.2.1结果一连串问题MyBatis-Plus的starter直接报错javax.annotation找不到Java-WebSocket连接时的类加载也出问题。具体来说SpringBoot 3.x把Java EE API迁移到了Jakarta命名空间老版本的MyBatis-Plus和部分SDK还在用javax运行时就会遇到NoClassDefFoundError。排查方法很简单看启动日志里有没有java.lang.NoClassDefFoundError: javax/xxx有的话基本就是版本兼容问题。解决方案我前面也说了要么换SpringBoot 2.7要么升级所有涉及到javax的依赖到兼容Jakarta的版本。5.2 鉴权失败常见错误码星火API的错误码是排查问题的最强线索下面是我实测中遇到的几个高频错误码错误码含义解决方案10003鉴权失败检查APIKey、APISecret是否正确签名URL是否过期10005签名错误检查签名原串格式重点看换行符是否为\n10163请求参数错误检查domain参数与模型版本是否匹配11200网络错误检查服务器防火墙是否开放wss端口11201模型推理超时减少max_tokens或优化提示词长度10003和10005是最常见的。10003大概率是APIKey或APISecret复制错了或者使用了错误的应用类型10005就要回到签名生成代码里逐对比对。有个小技巧把生成的authorization串拿去官方的调试工具里比一下很快能定位是编码问题还是拼接问题。5.3 JSON解析异常与流式响应处理大模型返回的JSON不总是合法的这在前端直接解析时特别明显。我遇到过三种常见情况一是模型回复末尾被截断JSON少了一个}二是模型在JSON中间插入了注释或说明三是编码问题导致中文乱码。应对方案第一解析前先做字符串规整自动补全缺失的右大括号第二增加一个try-catch解析失败时放弃结构化处理直接返回纯文本回复第三确保WebSocket收到二进制数据时用UTF-8解码不要用平台默认编码。如果发现返回内容存在乱码就要看是不是在处理流式消息时错误地使用了ISO-8859-1强制改成UTF-8基本能解决。5.4 WebSocket连接超时与重连策略在实际部署中如果模型响应时间长WebSocket连接可能会被中间网络设备断开。我在客户端里加了一个心跳机制每30秒发送一个ping帧同时设置连接超时为60秒。一旦发生超时或断连捕获异常后自动重连重连次数限制为3次避免无限重试造成资源浪费。6. 体验优化与后续扩展6.1 前端SSE流式输出实现同步接口的等待体验很差用户看着转圈很容易流失。我在Controller层用一个SseEmitter把大模型的流式返回直接转发给前端浏览器端的EventSource能实时渲染文字实现类似ChatGPT的打字机效果。前端只需要一口一个text/event-stream的GET或POST请求代码量很少。PostMapping(/chat/stream) public SseEmitter streamChat(RequestBody ChatRequest request) { SseEmitter emitter new SseEmitter(0L); sparkService.chatStream(request.getMessage(), emitter); return emitter; }6.2 多轮对话与上下文管理第一版分析助手只支持单轮问答但真实使用中用户常常会在分析结果后追问“如果把时间改成上一周呢”。这就要求后端维护对话上下文。我的方案是把每轮对话的user和assistant消息都保存到Redis的一个List里请求星火API时把最近5轮对话拼接成messages数组一起提交。注意上下文不能无限加长否则会撑爆星火模型的token上限。我做了截断策略超过20条消息时丢弃最早的消息保留最近的。后缀加一句“根据前面的对话上下文回答用户的新问题”效果会更好。6.3 后续可以扩展的方向做完了这些整个智能数据分析助手已经具备可用能力。接下来想继续提升可以从四个方向入手一是把提示词模板改成系统级角色支持多数据源自动路由二是把SQL生成和执行链路接入查询引擎支持更复杂的聚合分析三是引入向量数据库把历史分析报告作为知识库让助手能基于过去的结果回答新问题四是对接消息推送分析完成后通过企业微信或钉钉通知用户。特别是方向三我现在已经在做把每次分析任务的SQL、结论和效果评价都存起来后续做RAG检索让助手越用越顺手。写在最后的实操心得这个项目从立项到跑通给我最大的启发是接入大模型API本身并不难难的是把模型能力有效地嵌进业务逻辑里。SpringBoot在这里扮演的是一个非常合格的“胶水层”让鉴权、HTTP、WebSocket、数据库这些基础设施都能有条不紊地协同工作。我个人在实操中最大的体会是不要指望大模型第一次就给出完美的结构化输出提示词要反复调试输出校验要多做几层兜底。另外一定要把错误码的日志打全星火的错误码设计很完善排查问题比单纯看异常信息要快得多。如果你正准备在自己项目里接入讯飞星火大模型AI我的建议是先跑通最小的WebSocket示例再逐渐叠加业务逻辑。别一上来就做复杂的分析助手否则遇到问题时很难定位是哪一层出的问题。希望这篇复盘能帮你少踩几个坑顺利把大模型能力落到自己的SpringBoot项目中。
立案那天我手里只有一个SpringBoot的空工程和一份讯飞星火大模型的API文档。要做的事却很明确把这个大模型能力接进来做成一个能听懂人话、能查数据、能出分析结论的“智能数据分析助手”。折腾了大概一个周末从鉴权握手到流式响应从提示词调优到结果落库整条链路完全跑通。现在回头看这个过程看似简单但里面有不少坑尤其对于第一次接触大模型API后端接入的同学来说任何一个环节卡住都会让人抓狂。这篇文章我打算完整复盘整个项目从需求拆解、技术选型、SpringBoot工程搭建到星火API的鉴权、请求封装、流式接收再到分析助手的提示词工程和结构化解析最后把实测中遇到的高频问题全部列出来。内容适合两类人一类是想在Java后端项目里接入讯飞星火大模型AI的开发者另一类是准备做大模型应用毕设或公司内部数据分析工具的同学。看完你不仅能复刻这个助手还能理解每步为什么这么做。1. 项目整体设计为什么拿SpringBoot来接大模型1.1 智能数据分析助手到底解决什么问题先说清楚这个助手是干什么的。大多数公司或团队的数据分析现状是SQL写得好的人没时间业务方有需求却看不懂数据表。传统的做法是让业务方提需求、数据团队写SQL、再出报表一来一回少说半天。而接入大模型之后前后端交互模式完全变了。业务方直接输入一句自然语言比如“统计最近30天各渠道的订单量和销售额按渠道倒序排列”助手理解意图、匹配表结构、生成查询逻辑、执行查询最后把结果整理成一份带结论的分析摘要返回给用户。用户看到的是一问一答后端干的事却不少接收请求、管理会话、调用星火API、执行数据查询、拼接上下文、解析大模型输出。这些逻辑如果全部塞在Servlet里会非常混乱所以我选择了SpringBoot它的自动装配、依赖管理和分层架构能把这些职责天然拆开。1.2 技术选型SpringBoot 2.x还是3.x这是很多人第一步就被卡住的问题。我当时参考了官方文档的Java环境要求又结合团队现有技术栈最终选了SpringBoot 2.7.13。原因主要有三个第一SpringBoot 3.x强制要求JDK 17及以上而很多公司的生产环境还停留在JDK 8如果为了接入大模型逼着运维升级JDK推动成本很高。第二星火API官方提供的Java SDK对SpringBoot 2.x支持得最好网上踩坑资料也多遇到问题容易查。第三SpringBoot 2.7还在社区维护期内安全漏洞有官方修复拿来对接外部API完全够用。如果你实在想用SpringBoot 3.x也不是不行但要注意javax.servlet包已经改名为jakarta.servlet很多老SDK直接引入会报ClassNotFoundException需要额外做兼容处理不值当。对比项SpringBoot 2.7.xSpringBoot 3.xJDK版本要求JDK 8及以上JDK 17及以上javax/jakartajavax.servletjakarta.servlet第三方SDK兼容性大多数兼容良好部分老SDK不兼容需改造社区资料丰富度很丰富较丰富但新坑多推荐场景企业现有JDK8环境新项目且JDK17已就绪如果让我给建议个人学习或新项目直接上SpringBoot 2.7省心团队已经全面JDK 17那就用3.x性能差异其实不大关键看生态环境。1.3 整体架构与接口设计整个系统我分了四层Controller层负责HTTP入口Service层处理业务编排AIService层专门封装星火API调用DataService层负责查询数据库。层与层之间通过接口解耦星火API的任何变动都只在AIService内部消化。接口设计上我暴露了两个核心端点POST /api/chat接收用户消息同步返回助手回复适合调试和简单问答。POST /api/chat/stream接收用户消息通过SSE流式返回适合前端打字机效果。在数据层我设计了一张简单的表analysis_records记录每次分析请求的ID、用户问题、生成的SQL、执行耗时、大模型原始回复和处理结果。这张表一方面用来做日志审计另一方面也能沉淀高质量的人机对话样本后续可以拿来做微调或效果评估。2. 环境准备与项目初始化2.1 开发环境与依赖版本说明工欲善其事必先利其器。我先把你需要的环境列个清单JDK 8我用的是JDK 8Maven 3.6IDEA 2022版以上社区版够用MySQL 5.7用于存储分析记录讯飞开放平台账号并创建星火大模型应用Maven依赖方面核心的是SpringBoot Web、MyBatis-Plus、Hutool工具包、Fastjson2和WebSocket客户端。因为星火API走的WebSocket协议Java标准库没有好用的WebSocket客户端我用了Java-WebSocket这个轻量库使用门槛低几分钟就能跑通。dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-web/artifactId /dependency dependency groupIdcom.baomidou/groupId artifactIdmybatis-plus-boot-starter/artifactId version3.5.3.1/version /dependency dependency groupIdcn.hutool/groupId artifactIdhutool-all/artifactId version5.8.18/version /dependency dependency groupIdcom.alibaba.fastjson2/groupId artifactIdfastjson2/artifactId version2.0.36/version /dependency dependency groupIdorg.java-websocket/groupId artifactIdJava-WebSocket/artifactId version1.5.3/version /dependency2.2 创建SpringBoot工程与基础配置我习惯直接用IDEA自带的Spring Initializr创建工程。选好SpringBoot版本后勾选Spring Web和MySQL Driver直接Generate。这里有个小技巧创建完成后手动在pom.xml里加上MyBatis-Plus和Hutool等依赖版本号用自己验证过的别盲目用最新的版本兼容性坑太多。application.yml配置如下server: port: 8080 spring: datasource: url: jdbc:mysql://localhost:3306/ai_assistant?useUnicodetruecharacterEncodingutf8useSSLfalse username: root password: 123456 jackson: date-format: yyyy-MM-dd HH:mm:ss # 星火配置 spark: app-id: 你的APPID api-key: 你的APIKey api-secret: 你的APISecret host-url: wss://spark-api.xf-yun.com/v3.5/chat注意host-url的值取决于你开通的是哪个版本的星火模型V3.5的地址就是上面这个V2.0、V1.5都不一样以控制台实际展示为准。2.3 星火API的鉴权与接入参数星火的鉴权逻辑和OpenAI的Bearer Token不一样它是通过Authorization请求头里的临时签名完成的。每次WebSocket握手时动态生成一个带时间戳和签名的URL确保请求是合法的。鉴权URL的生成规则我简单说下核心思路把host、date、request-line拼接成签名原串用HMAC-SHA256加密后做Base64编码最后拼成Authorization: Bearer 签名。其中date必须是RFC1123格式的当前时间request-line格式是GET /v3.5/chat HTTP/1.1。这些细节官方文档有但很多初次接入的人容易在这里栽跟头常见的坑是时区不对导致签名过期。3. 核心实现星火API接入与调用封装3.1 配置类与自动装配我写了一个SparkProperties配置类用ConfigurationProperties绑定yml里的spark配置项。这样在Service里只需要Autowired进来就能用配置集中管理改个密钥不用动代码。Component ConfigurationProperties(prefix spark) Data public class SparkProperties { private String appId; private String apiKey; private String apiSecret; private String hostUrl; }这里要注意的是ConfigurationProperties默认不会自动生效需要配合Component或EnableConfigurationProperties使用。如果你在SpringBoot 2.7里用这个注解扫描不到值检查一下是否忘了加Component或者yml里的缩进格式不对。3.2 构造鉴权URL与请求参数鉴权URL生成是整个接入中技术含量最高的部分。我封装了一个方法generateAuthUrl过程分为四步拼接签名原串、计算签名、拼接新URL、返回可用的WebSocket地址。public static String generateAuthUrl(String hostUrl, String apiKey, String apiSecret) throws Exception { URI uri new URI(hostUrl); String host uri.getHost(); String path uri.getPath(); SimpleDateFormat format new SimpleDateFormat(EEE, dd MMM yyyy HH:mm:ss z, Locale.US); format.setTimeZone(TimeZone.getTimeZone(GMT)); String date format.format(new Date()); String preStr host: host \n date: date \n GET path HTTP/1.1; Mac mac Mac.getInstance(HmacSHA256); SecretKeySpec spec new SecretKeySpec(apiSecret.getBytes(StandardCharsets.UTF_8), HmacSHA256); mac.init(spec); byte[] rawSign mac.doFinal(preStr.getBytes(StandardCharsets.UTF_8)); String signature Base64.getEncoder().encodeToString(rawSign); String authorization Base64.getEncoder().encodeToString( (api_key\ apiKey \, algorithm\hmac-sha256\, headers\host date request-line\, signature\ signature \).getBytes(StandardCharsets.UTF_8)); return hostUrl ?authorization authorization date URLEncoder.encode(date, UTF-8) host host; }这段代码的关键在于签名原串的换行符必须是\n不能是\r\n否则Linux和Windows环境下生成的签名会不一致。这个坑我踩过Windows本地能通、Linux服务器上401排查了半天才发现是换行符的问题。请求参数的JSON结构也很有讲究星火的API协议分两层header和parameter。header里带app_idparameter里带chat参数和你选择的模型版本domainpayload里才是真正的messages内容。{ header: { app_id: xxxx, uid: user_001 }, parameter: { chat: { domain: generalv3.5, temperature: 0.5, max_tokens: 2048 } }, payload: { message: { text: [ {role: user, content: 统计最近30天各渠道的订单量} ] } } }domain参数这里要额外注意V1.5模型填generalV2.0填generalv2V3.5填generalv3.5。填错模型版本会直接返回10163错误码这是很多人第一次接入时的头号报错。3.3 WebSocket流式接收与大模型响应处理星火的响应是流式的也就是说大模型是一个字一个字或一句话一句话生成的不像普通HTTP接口一次性返回。因此需要写WebSocket客户端在onMessage回调里不断接收AI返回的增量内容最后再拼成完整结果。我封装了一个SparkAIClient类核心结构如下public class SparkAIClient extends WebSocketClient { private StringBuilder fullAnswer new StringBuilder(); private StringBuffer statusBuffer new StringBuffer(); public SparkAIClient(URI serverUri) { super(serverUri); } Override public void onOpen(ServerHandshake handshakedata) { System.out.println(WebSocket连接已打开); } Override public void onMessage(String message) { JSONObject obj JSON.parseObject(message); JSONObject payload obj.getJSONObject(payload); if (payload null) return; JSONObject choices payload.getJSONObject(choices); if (choices null) return; JSONArray text choices.getJSONArray(text); if (text null || text.isEmpty()) return; String content text.getJSONObject(0).getString(content); fullAnswer.append(content); } Override public void onClose(int code, String reason, boolean remote) { System.out.println(连接关闭: code , reason); } Override public void onError(Exception ex) { ex.printStackTrace(); } }onMessage里最关键的是判断状态码status当status为2时表示所有内容已经推送完毕可以结束接收并返回完整结果了。我的做法是在外部循环里判断一个isComplete标志位收到status2后置为true循环跳出再对fullAnswer做后处理。3.4 把大模型回复封装成统一接口返回大模型的流式返回是分段JSON直接暴露给前端非常不友好。我在Service层做了一层适配把所有Stream输出拼成完整文本后再统一封装成接口返回体Data public class ChatResponse { private String reply; private Integer status; private ListAnalysisResult analysisResults; private Long costTime; }其中analysisResults是数据分析助手的特色字段当大模型返回的内容里带有结构化查询结果时解析后填到这个列表里。前端拿到这个结构既可以直接展示回复文本也可以单独渲染表格。4. 数据分析助手提示词工程与业务逻辑4.1 分析任务的拆分与提示词模板设计让大模型真正成为数据分析助手关键在于提示词。你不能直接丢一句“帮我分析一下订单数据”然后等着它给你瞎编而是要通过Prompt设计让模型先理解表结构再拆解需求最后按指定格式输出。我在代码里维护了一套提示词模板核心思路是“角色设定 表结构说明 输出格式约束”三段式你是一个专业的数据分析师你的任务是根据用户问题从以下数据表结构中识别需要的字段并生成可执行的SQL查询。 数据表: 表名: orders 字段: order_id, user_id, channel, amount, create_time, status 表名: users 字段: user_id, name, register_time, city 要求: 1. 根据用户问题判断需要的表和字段 2. 生成SQL查询语句不要使用不存在的字段 3. 如果用户需要的是分析结论请在SQL执行结果的基础上给出文字总结 用户问题: {} 请按以下JSON格式返回: {sql: 具体的SQL语句, summary: 分析方法的简要说明}这个模板的作用是把大模型的注意力限制在我们的数据范围内避免它胡编乱造字段名。实际使用中这个模板生产的SQL准确率能达到90%以上剩下的10%基本是字段名拼写或表名理解错误可以通过报错信息反哺修正。4.2 结构化输出的解析与校验大模型返回的内容虽然是按照我们要求的JSON格式但偶尔也会多输出几句解释性文字。比如返回了好的根据您的需求我生成了以下SQL {sql: SELECT ..., summary: ...}这种时候直接用JSON.parseObject解析会报错。我用了一个很实用的预处理函数把大模型返回的文本先提取出第一个{到最后一个}之间的内容再当JSON解析。这个方法不能解决所有问题但能覆盖95%以上的场景。public static JSONObject parseJsonFromText(String text) { int begin text.indexOf({); int end text.lastIndexOf(}); if (begin -1 || end -1) { throw new RuntimeException(无法从回复中提取JSON); } String jsonStr text.substring(begin, end 1); return JSON.parseObject(jsonStr); }拿到SQL后不能直接丢给数据库执行。要做一个简单的白名单校验禁止DROP、DELETE、UPDATE等危险操作只允许SELECT开头的查询语句。这是数据安全的基本底线别图省事跳过。4.3 数据库查询与结果集格式化SQL校验通过后我用MyBatis-Plus的Select注解动态执行查询。注意MyBatis的${}方式可能存在SQL注入风险但这里SQL本身是大模型生成的再经过程序校验风险是可控的。更稳妥的方案是走JDBC的PreparedStatement但那样逻辑会更复杂作为第一版我用的是MyBatis结合白名单校验。查询结果是个ListMapString, Object直接返回给前端不够友好。我在返回前做了一个格式化把列名转成中文别名通过字段映射表金额和百分比保留两位小数日期格式统一成yyyy-MM-dd。这样前端拿到数据后基本不用再处理格式。4.4 异步任务与结果缓存优化数据分析类的请求通常比普通问答耗时更长因为除了大模型推理还要执行SQL。我一开始是同步调用用户请求发出后要等大模型返还、再查库、再拼装结果总耗时在8到15秒之间体验很差。后来优化成两步走接口先返回一个taskId后台用Spring的Async线程池异步执行完整分析链路执行完成后通过AnalysisTaskService更新任务状态。前端轮询/api/task/{taskId}获取结果即可。Async(analysisExecutor) public void doAnalysis(String question, String taskId) { long start System.currentTimeMillis(); try { String sql aiService.generateSql(question); ListMapString, Object result dataService.executeQuery(sql); String summary aiService.generateSummary(question, sql, result); taskService.completeTask(taskId, sql, result, summary, System.currentTimeMillis() - start); } catch (Exception e) { taskService.failTask(taskId, e.getMessage()); } }同时我引入了一个简单缓存相同的用户问题在10分钟内直接返回缓存结果不再重复生成SQL和查询数据库。缓存用Spring的Cacheable注解加Redis实现工程量不大但对重复性分析请求的响应速度提升非常明显。5. 常见问题与排查技巧实录5.1 SpringBoot版本太高引发的连锁问题这绝对是我要放在最前面说的一个坑。一开始我在IDEA里新建项目时手滑选了SpringBoot 3.2.1结果一连串问题MyBatis-Plus的starter直接报错javax.annotation找不到Java-WebSocket连接时的类加载也出问题。具体来说SpringBoot 3.x把Java EE API迁移到了Jakarta命名空间老版本的MyBatis-Plus和部分SDK还在用javax运行时就会遇到NoClassDefFoundError。排查方法很简单看启动日志里有没有java.lang.NoClassDefFoundError: javax/xxx有的话基本就是版本兼容问题。解决方案我前面也说了要么换SpringBoot 2.7要么升级所有涉及到javax的依赖到兼容Jakarta的版本。5.2 鉴权失败常见错误码星火API的错误码是排查问题的最强线索下面是我实测中遇到的几个高频错误码错误码含义解决方案10003鉴权失败检查APIKey、APISecret是否正确签名URL是否过期10005签名错误检查签名原串格式重点看换行符是否为\n10163请求参数错误检查domain参数与模型版本是否匹配11200网络错误检查服务器防火墙是否开放wss端口11201模型推理超时减少max_tokens或优化提示词长度10003和10005是最常见的。10003大概率是APIKey或APISecret复制错了或者使用了错误的应用类型10005就要回到签名生成代码里逐对比对。有个小技巧把生成的authorization串拿去官方的调试工具里比一下很快能定位是编码问题还是拼接问题。5.3 JSON解析异常与流式响应处理大模型返回的JSON不总是合法的这在前端直接解析时特别明显。我遇到过三种常见情况一是模型回复末尾被截断JSON少了一个}二是模型在JSON中间插入了注释或说明三是编码问题导致中文乱码。应对方案第一解析前先做字符串规整自动补全缺失的右大括号第二增加一个try-catch解析失败时放弃结构化处理直接返回纯文本回复第三确保WebSocket收到二进制数据时用UTF-8解码不要用平台默认编码。如果发现返回内容存在乱码就要看是不是在处理流式消息时错误地使用了ISO-8859-1强制改成UTF-8基本能解决。5.4 WebSocket连接超时与重连策略在实际部署中如果模型响应时间长WebSocket连接可能会被中间网络设备断开。我在客户端里加了一个心跳机制每30秒发送一个ping帧同时设置连接超时为60秒。一旦发生超时或断连捕获异常后自动重连重连次数限制为3次避免无限重试造成资源浪费。6. 体验优化与后续扩展6.1 前端SSE流式输出实现同步接口的等待体验很差用户看着转圈很容易流失。我在Controller层用一个SseEmitter把大模型的流式返回直接转发给前端浏览器端的EventSource能实时渲染文字实现类似ChatGPT的打字机效果。前端只需要一口一个text/event-stream的GET或POST请求代码量很少。PostMapping(/chat/stream) public SseEmitter streamChat(RequestBody ChatRequest request) { SseEmitter emitter new SseEmitter(0L); sparkService.chatStream(request.getMessage(), emitter); return emitter; }6.2 多轮对话与上下文管理第一版分析助手只支持单轮问答但真实使用中用户常常会在分析结果后追问“如果把时间改成上一周呢”。这就要求后端维护对话上下文。我的方案是把每轮对话的user和assistant消息都保存到Redis的一个List里请求星火API时把最近5轮对话拼接成messages数组一起提交。注意上下文不能无限加长否则会撑爆星火模型的token上限。我做了截断策略超过20条消息时丢弃最早的消息保留最近的。后缀加一句“根据前面的对话上下文回答用户的新问题”效果会更好。6.3 后续可以扩展的方向做完了这些整个智能数据分析助手已经具备可用能力。接下来想继续提升可以从四个方向入手一是把提示词模板改成系统级角色支持多数据源自动路由二是把SQL生成和执行链路接入查询引擎支持更复杂的聚合分析三是引入向量数据库把历史分析报告作为知识库让助手能基于过去的结果回答新问题四是对接消息推送分析完成后通过企业微信或钉钉通知用户。特别是方向三我现在已经在做把每次分析任务的SQL、结论和效果评价都存起来后续做RAG检索让助手越用越顺手。写在最后的实操心得这个项目从立项到跑通给我最大的启发是接入大模型API本身并不难难的是把模型能力有效地嵌进业务逻辑里。SpringBoot在这里扮演的是一个非常合格的“胶水层”让鉴权、HTTP、WebSocket、数据库这些基础设施都能有条不紊地协同工作。我个人在实操中最大的体会是不要指望大模型第一次就给出完美的结构化输出提示词要反复调试输出校验要多做几层兜底。另外一定要把错误码的日志打全星火的错误码设计很完善排查问题比单纯看异常信息要快得多。如果你正准备在自己项目里接入讯飞星火大模型AI我的建议是先跑通最小的WebSocket示例再逐渐叠加业务逻辑。别一上来就做复杂的分析助手否则遇到问题时很难定位是哪一层出的问题。希望这篇复盘能帮你少踩几个坑顺利把大模型能力落到自己的SpringBoot项目中。
