MySQL环境下,mybatis使用Cursor:从配置到验证的完整实践

发布时间:2026/11/17 2:55:22

MySQL环境下,mybatis使用Cursor:从配置到验证的完整实践 1. 为什么大结果集查询会把内存打爆先说结论MySQL 环境下用 MyBatis 做普通查询默认会把整个结果集一次性读进 JVM 内存几百万行数据直接 OOM。Cursor游标就是解决这个问题的——它让 JDBC 逐批从服务端拉数据而不是一口气全拿回来。我在一个订单对账项目里踩过这个坑单表 800 万行用ListOrder selectAll()查出来做遍历堆内存 4G 直接撑爆GC 日志全是 Full GC。后来改成 Cursor 流式读取内存曲线立刻平了稳定在几百 MB。Cursor 适合谁适合需要遍历大结果集做批处理、导出、对账、数据迁移的场景。不适合的场景是你只需要查几条数据或者需要把结果集反复随机访问——那种情况用普通 List 更省事。这里有个关键前提MySQL 的流式查询不是随便设个fetchSize就生效的。它有一套特定的触发条件配错了就是伪 Cursor数据照样全量加载。下面我把配置骨架、验证方法、常见坑一次讲清楚。2. TaoToken 前置把模型对话和编码辅助接进来在动手改 MyBatis 配置之前我习惯先把调试辅助工具准备好。排查 Cursor 问题时经常需要问模型这段 JDBC 源码为什么这样判断或者让模型帮我 review Mapper 写法。TaoToken 在这里的作用是提供一个统一的模型调用入口省去到处找 Key 的麻烦。官网入口https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content如果你只是想快速验证某个模型对 MyBatis 源码的理解直接用模型对话页最方便 https://taotoken.net/models?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewrite如果你在做长期的编码工作比如反复调试 Cursor 配置、让 Agent 帮你改 Mapper那 Coding Plan 更合适 https://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewrite需要自己管理调用凭证的话去控制台和 API Keys 页面 https://taotoken.net/console?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewrite https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteAPI 地址统一是https://taotoken.net/api接入文档在这里 https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewrite用 Claude Code 做编码辅助的Anthropic 兼容入口 https://taotoken.net/ClaudeCodeAnthropic?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewrite这些工具不是必须的但排查 Cursor 这种涉及 JDBC 底层源码的问题时有个能随时问的模型确实省时间。3. 可复制的 MyBatis Cursor 配置骨架3.1 环境与依赖版本先确认版本Cursor 的行为在不同版本间有差异组件版本说明JDK8Cursor 接口在 JDK8 可用MyBatis3.5.2低版本 Cursor 支持不完整mysql-connector-java8.0.228.x 系列流式判断逻辑一致MySQL Server5.7 / 8.0都支持流式结果集Maven 依赖dependency groupIdorg.mybatis/groupId artifactIdmybatis/artifactId version3.5.2/version /dependency dependency groupIdmysql/groupId artifactIdmysql-connector-java/artifactId version8.0.22/version /dependency3.2 Mapper XML 写法核心是fetchSize-2147483648也就是Integer.MIN_VALUE。这个值不是随便写的后面会解释原因。?xml version1.0 encodingUTF-8? !DOCTYPE mapper PUBLIC -//mybatis.org//DTD Mapper 3.0//EN http://mybatis.org/dtd/mybatis-3-mapper.dtd mapper namespacecom.demo.mapper.MenuMapper select idcursor resultTypecom.demo.entity.Menu fetchSize-2147483648 select menu_id as menuId, menu_name as menuName from t_menu where menu_id lt; #{menuId} /select /mapper注意fetchSize写在select标签上不是写在全局 settings 里。全局 settings 里没有这个配置项别找错地方。3.3 Mapper 接口返回类型必须是org.apache.ibatis.cursor.Cursor不能是Listpackage com.demo.mapper; import com.demo.entity.Menu; import org.apache.ibatis.cursor.Cursor; public interface MenuMapper { CursorMenu cursor(Integer menuId); }3.4 Service 层SqlSession 类型是关键这一步最容易出错。必须用ExecutorType.REUSE打开 SqlSession用 BATCH 或 SIMPLE 都会导致结果集被提前关闭。package com.demo.service; import com.demo.entity.Menu; import com.demo.mapper.MenuMapper; import org.apache.ibatis.cursor.Cursor; import org.apache.ibatis.session.ExecutorType; import org.apache.ibatis.session.SqlSession; import org.apache.ibatis.session.SqlSessionFactory; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.stereotype.Service; import java.util.Iterator; Service public class MenuService { Autowired private SqlSessionFactory sessionFactory; public void streamMenu() { SqlSession sqlSession sessionFactory.openSession(ExecutorType.REUSE); try { MenuMapper mapper sqlSession.getMapper(MenuMapper.class); CursorMenu cursor mapper.cursor(1000000); IteratorMenu iterator cursor.iterator(); while (iterator.hasNext()) { Menu menu iterator.next(); System.out.println(menu.getMenuId() - menu.getMenuName()); } } finally { sqlSession.close(); } } }如果你用 Spring 的Transactional注意事务边界。Cursor 必须在同一个 SqlSession 生命周期内消费完跨事务会报 Cursor is closed。4. 验证请求与成功结果4.1 为什么必须是 Integer.MIN_VALUEMySQL Connector/J 判断是否启用流式结果集的逻辑在com.mysql.cj.jdbc.StatementImpl#createStreamingResultSetprotected boolean createStreamingResultSet() { return ((this.query.getResultType() Type.FORWARD_ONLY) (this.resultSetConcurrency java.sql.ResultSet.CONCUR_READ_ONLY) (this.query.getResultFetchSize() Integer.MIN_VALUE)); }三个条件同时满足才走流式结果集类型是FORWARD_ONLY、并发模式是CONCUR_READ_ONLY、fetchSize 等于Integer.MIN_VALUE。所以-2147483648不是魔法数字是 MySQL 驱动约定的开关值。4.2 验证游标是否真的生效光看代码跑通不够要确认数据是分批拉的。两个验证方法方法一看内存曲线。用jconsole或jvisualvm挂到进程上跑一个百万行查询。如果内存平稳说明流式生效如果内存阶梯式上涨到峰值说明是伪 Cursor。方法二加日志看拉取节奏。在遍历循环里每 10000 条打一次时间戳int count 0; while (iterator.hasNext()) { Menu menu iterator.next(); if (count % 10000 0) { System.out.println(已处理 count 条, 时间: System.currentTimeMillis()); } }真 Cursor 的时间戳是均匀递增的伪 Cursor 会在开头卡很久全量加载然后瞬间打印完。4.3 成功结果对照跑通后你应该看到控制台逐条打印菜单数据不是一次性刷屏内存占用稳定不随数据量线性增长处理 100 万行耗时比普通查询略长因为网络往返多了但内存安全5. 本篇常见错误排查5.1 报 Cursor is closed原因SqlSession 被提前关闭或者用了ExecutorType.BATCH/SIMPLE。BatchExecutor#doQueryCursor里查询完就关了结果集SimpleExecutor同理。只有ReuseExecutor不关闭能持续从服务端取数据。改成ExecutorType.REUSE即可。5.2 内存还是爆了检查三处fetchSize是否写成-2147483648写成1000无效resultType是否误写成List是否在遍历前把 Cursor 转成了 List。5.3 遍历时报连接超时流式查询会长时间占用连接MySQL 的wait_timeout默认 8 小时一般够用。但如果处理逻辑很慢建议调大net_write_timeout和net_read_timeout。5.4 Spring 事务里 Cursor 失效Transactional默认用 SIMPLE executor。要么手动开 REUSE 的 SqlSession要么在事务方法里用SqlSessionTemplate指定 executorType。注意Cursor 消费完必须关闭 SqlSession否则连接泄漏。用 try-finally 包住。6. 接入与排障资源Cursor 配置本身不复杂难的是排查为什么没生效。遇到 JDBC 源码层面的疑问或者需要模型帮你 review Mapper 和 Service 写法可以用这些入口API Keys 管理https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewrite接入文档含各语言 SDK 示例https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewrite快速验证模型对源码的理解用模型对话https://taotoken.net/models?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewrite长期做编码调试和 Agent 辅助用 Coding Planhttps://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteAPI 基础地址https://taotoken.net/api最后补一个实战技巧生产环境用 Cursor 时给遍历循环加个批量提交的节奏控制比如每 5000 条做一次业务侧落库或缓存写入避免长时间持有连接。另外 Cursor 不支持RowBounds分页要分页就自己在 SQL 里加limit别指望 RowBounds 和 Cursor 混用。
延伸阅读

更多相关文章

2026/11/16 19:13:56

3个维度对比评测网站网页策略,避开90%新手坑

3个维度对比评测网站网页策略,避开90%新手坑 域名买好了,服务器也租了,结果网站打不开? 别慌,这是我在过去十年建站生涯里见得最多的场景。 很多前端初学者刚接触 网站网页策略…

2026/11/15 5:43:55

Cadence培训怎么选?从需求自检到机构筛选的完整指南

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/11/17 2:53:16

济源有电工证考点吗?在哪考能快速上岗

济源有电工证考点吗?在哪考能快速上岗 你是不是也遇到过这种情况,手里有一份工作机会,但因为没有电工证而被拦在门外?其实很多人在找工作时都遇到过类似的问题, 急需特种作业证才能上岗找工作 ,而 在哪考 电工证,就成了他们最关心的事情之一。…

2026/11/17 2:53:16

昌乐县办电工证丢了怎么办?官方回应来了,别让证耽误你找工作!

昌乐县办电工证丢了怎么办?官方回应来了,别让证耽误你找工作! 你是不是正在为昌乐县办电工证丢了而发愁?别急,这个证丢了千万别慌,官方已经给出了明确的回应和补办流程。尤其是在洛阳等地,很多建筑工人都是靠电工证上岗的,如果证丢了,直接就影响你找…

2026/11/17 2:53:16

宁夏电工证报名怎么操作?学历不高也能考电子证书

宁夏电工证报名怎么操作?学历不高也能考电子证书 你是不是也在担心自己学历不高,怕报不了名?其实, 宁夏电工证报名 对学历的要求并没有你想象的那么高,关键是你怎么准备,怎么去考。现在的电工证已经全面推行电子证书了,不再只是纸质版,这意味着你考…

2026/11/16 7:29:52

电工证考试口诉怎么准备值不值得考

电工证考试口诉怎么准备值不值得考 实操考试心里没底怕挂科,这是大多数准备考电工证的人心里最真实的感受。尤其是面对【电工证考试口诉】环节,很多人不知道该怎么准备,甚至担心自己说不好就被淘汰。其实,只要掌握方法, 值不值得考…

2026/11/16 5:30:20

桑植县考电工证千万别踩坑!报名全流程教你避坑

桑植县考电工证千万别踩坑!报名全流程教你避坑 你是不是也遇到过这种情况:想考个电工证,但不知道从哪儿下手,怕被中介坑,怕花冤枉钱,更怕考了证还不能用?别急,这正是你该看这篇文章的原因。在桑植县考电工证,确实有很多人被坑过,但只要你知道流程、…

2026/11/17 0:02:41

电工证操作和资格证有效期多久?真实经历告诉你怎么复审延期

电工证操作和资格证有效期多久?真实经历告诉你怎么复审延期 证书过期了不知道怎么复审延期,这种情况在电工圈里太常见了。我有个同事,去年刚把低压电工证给弄丢了,直到单位查岗才发现证书已经过期,差点被停工处理。今天就用我真实经历给你讲讲电工证操作…

2026/11/17 0:02:41

机修需不需要电工证 在哪考最靠谱 这些细节必须知道

机修需不需要电工证 在哪考最靠谱 这些细节必须知道 之前考的证在外省能不能转过来?这个问题几乎每个特种作业从业者都问过。特别是像你这样,之前在外省考了证,现在想在本地扎根,或者想换证、换岗的机修人员,最关心的就是【机修需不需要电工证】和【在…

2026/11/17 0:02:41

工地太忙根本没时间复习考试?真实经历告诉你电工证年检步骤是什么

工地太忙根本没时间复习考试?真实经历告诉你电工证年检步骤是什么 工地太忙根本没时间复习考试,我理解你。作为一名刚从焦作工程类院校毕业的学生,我也经历过这种困扰。电工证年检步骤是什么,听起来简单,但实际操作中,很多人因为流程不清楚、资料准备不…

2026/11/17 0:49:41

面向复杂光照与角度的宠物面部识别鲁棒性增强策略

在智慧养宠时代,基于视觉的宠物身份识别技术正逐步从实验室走向家庭应用。然而,与配合度高的人类不同,宠物是典型的“非合作生物识别对象”——它们不会主动配合摄像头调整姿态,更无法控制光照环境。实际应用中,我们常…

2026/11/16 3:17:47

SSM电子书店源码全解析:结构、原理、部署与排错实战

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

还想了解更多?直接咨询顾问

免费诊断 + 免费方案 + 透明报价。

全国咨询热线400-8866-253
免费获取方案
☎咨询二维码 ☎ ↑