Agentic Data — 面向数据分析的 Agentic

基于 Next.js 15 多模型 LLM 的 Agentic 数据分析平台。用户以自然语言对话的方式上传、探查、清洗、分析数据平台借助一套类 Claude Code 设计的 Agent 引擎自动规划、调用工具、自纠错并可视化结果。还能把对话沉淀为可外部调用的 API、把领域知识沉淀为 Skills 与知识库。源码地址: GitHub - linkedshine/DataAgent: linkedshine DataAgent · GitHub1. 项目定位agentic-data是一个Agentic智能体驱动的数据智能平台它把数据分析从写 SQL / 写脚本变成和 AI 对话。用户只需用自然语言描述需求分析 revenue 的月度趋势清洗掉空值行生成一份销售分析报告把这张表发布成一个 API背后的 Agent 会自己拆解任务、选择合适的工具、执行数据操作并把结果以表格、图表、Markdown 报告等形式实时渲染到工作区。平台并非只有一个聊天窗口而是采用VSCode 风格的 IDE 布局左侧活动栏Activity Bar 可拖拽侧边栏数据集 / 历史 / 技能 中间工作区标签页 右侧对话面板。Agent 每执行一个工具工作区就会即时追加一个结果页表 / 图 / 报告。部分工具截图配置第三方模型上传数据集添加数据集到对话2. 核心特性自然语言驱动的数据分析无需写 SQLAgent 自动把意图映射为查询 / 分析 / 清洗 / 可视化等操作。40 可组合 Agent 工具覆盖规划、数据管理、表 DDL、统计与可视化分析、清洗转换、数据探查、知识检索、图像识别、动态 API 生成、联网搜索等。类 Claude Code 的 Agent 引擎内置 Task 抽象、Planner规划、Executor执行、Self-Corrector自纠错、Memory上下文、Permission权限、Telemetry遥测。多模型、场景化 LLM 配置支持 Alibaba Qwen、DeepSeek、OpenAI、Ollama以及任意 OpenAI 兼容端点按agent / api / plugin / embedding / vision场景分别配置模型、temperature、thinking 等配置存于数据库并支持热更新。多数据源接入与同步可连接外部 PostgreSQL、MySQL 数据库浏览表结构并支持全量 / 增量同步scheduler进工作区。知识库 / RAG / Wikiembedding 向量化、wiki 编译 / 注入 / 检索把领域知识喂给 Agent支持简繁转换、拼音、jsonata 表达式处理。Skills 技能系统全局 用户级技能按对话上下文匹配并注入 Agent 提示词business_metrics沉淀经校验的 SQL 表达式保证指标口径一致。动态 API 生成把一句自然语言需求变成真实可调用的SQL API或Agent API自然语言 → 数据自动生成 API Key 与 curl 示例。API Key 管理为外部 API 与 MCP 连接创建 / 吊销 Key带调用日志与限流。线索与爬虫抓取线索 URL提取邮箱 / 电话 / 商品摘要支持公司 / 物料数据的批量爬虫。异步任务引擎长耗时任务爬虫、大文件导入、批量分析以后台任务运行并实时上报进度。MCP 集成注册外部 Model Context Protocol 服务将其工具暴露给 Agent极大扩展生态边界。用户体系与持久化NextAuth.js 认证邮箱密码 微信 OpenID会话、数据集元数据、知识库、API Key、技能、任务、线索、LLM 配置均持久化支持多用户。管理后台集中管理知识库、LLM Provider / 场景、技能与指标。3. 技术栈层技术前端Next.js 15App Router、React 19、Tailwind CSS、Radix UI、Lucide ReactAIVercel AI SDK v7ai-sdk/alibaba/ai-sdk/deepseek/ai-sdk/openai/ai-sdk/openai-compatibleORM / DBDrizzle ORM应用数据落 libSQL / SQLite本地或 Turso 云外部数据源支持 PostgreSQL / MySQL认证NextAuth.js v4 bcryptjs邮箱密码 微信 OpenID图表Recharts解析 / 文档PapaParse、xlsx / exceljs、pdf-lib、cheerio、sharp知识 / RAGQwen embeddings、jsonata、opencc-js简繁、pinyin-pro拼音MCPmodelcontextprotocol/sdk爬虫cheerio、patchright、node-cron交互 / 状态zustand状态、zod校验、framer-motion、sonner、react-resizable-panels、react-markdown、react-syntax-highlighter运行时Bun包管理 运行、Vitest单测、PlaywrightE2E、pino日志4. 架构总览src/ ├── app/ # Next.js 应用层 │ ├── (auth)/ # 登录 / 注册 / 微信回调 │ ├── (main)/ # 认证后的应用外壳 │ │ ├── workspace/ # IDE 工作区默认路由 │ │ ├── admin/ # 管理后台知识库 / LLM / 技能 / 指标 / MCP │ │ ├── api-keys/ # API Key 管理 │ │ ├── external-apis/ # 用户自建 API 定义 │ │ ├── skills/ # 技能管理 │ │ ├── leads/ # 线索爬取任务 │ │ └── tasks/ # 异步任务监控 │ ├── api/ # 70 个 API routechat / upload / datasets / datasources / external … │ └── plugin/ # 插件页面入口 ├── components/ # 139 个 UI 组件布局 / 工作区 / 对话 / 上传 / 管理 … ├── core/ # 业务内核 —— Agent 引擎与工具 │ ├── agent/ # planner / executor / self-corrector / memory / permission / telemetry / tool-factory / worktree │ ├── tools/ # analyze / clean / explore / query / sync registry / executor / adapter │ └── skills/ # 技能匹配与注入 ├── services/ # 服务接口与实现解耦 │ ├── interfaces/ # IAnalyze / IClean / IQuery / ISchema / ISync │ ├── impl/ # 对应实现 │ └── adapters/ ├── lib/ # 基础设施 │ ├── config/llm.ts # 多 Provider / 多场景 LLM 配置 │ ├── datasource/ # PG / MySQL 连接器、同步、调度、凭据加密 │ ├── knowledge/ # embedding / wiki / RAG │ ├── mcp/ # MCP client │ ├── analysis/ # 行业分析注册表 │ ├── tools/ # 基础工具crawler / text / datetime / image / knowledge … │ ├── db/ auth/ api-keys/ services/ skills/ sql/ logging/ workspace/ prompt/ ... ├── types/ store/ middleware.ts设计上采用分层解耦core业务内核依赖services接口services由lib基础设施提供实现。API 路由只负责 HTTP 边界真正的智能在core/agent。5. Agent 引擎core/agent这是项目最有价值的部分参考 Claude Code 的 Harness 设计自研了一套可组合、可观测、带权限与自纠错的执行框架。5.1 Task 抽象planner.ts统一的执行单元Task分三种类型workflow—— 完整工作流执行含状态机、已完成节点记录step—— 单个 LLM 轮次记录工具调用次数、token 用量task—— 后台异步任务绑定 userId / conversationId。并定义了严格的状态机pending → running → (paused | completed | failed | aborted)非法转换会被updateTaskStatus拒绝。5.2 关键模块executor / agent-tools驱动 LLM 推理并调度工具调用把工具结果回灌上下文。planner任务规划工作流编排。self-corrector执行失败或结果异常时自动修正重试——这是 Agent 健壮性的关键。memory通过AgentContext维护PipelineState、工具结果、消息、进度支持runWithContext的上下文隔离与reportProgress进度上报。permission细粒度权限requireUserId/requireOwnership/requireAdmin支持alwaysAllow/alwaysDeny/needsConfirmation并可组合allOf/anyOf成中间件。telemetry事件埋点console / 内存缓冲 handler、measureTime/withTelemetry性能度量。tool-factory借鉴 Claude Code 的工具定义方式——用 Zod 做参数校验支持InterruptBehavior交互式确认 / 拒绝产出标准化的ToolResult。worktree / prepare-step支持数据驱动的预执行步骤与隔离工作区。配套还有*.test.ts单测planner / memory / permission / self-corrector / telemetry / tool-factory / prepare-step 等体现工程严谨度。6. 工具体系40 工具6.1 Agent 工具core/tools围绕数据生命周期分域当前内置 ~40 个工具按职责归类类别工具规划update_plan数据管理list_datasets、query_database、preview_dataset表 DDLcreate_table、alter_table、insert_data、drop_table统计分析专项analyze_aggregate、analyze_timeseries、analyze_funnel、analyze_cohort、analyze_correlation统计分析通用analyze_data清洗专项clean_nulls、clean_duplicates、clean_format、transform_derive、transform_pivot清洗通用clean_data可视化 / 报告render_chart、generate_report、report_wizard_opener联网web_search知识add_knowledge、get_knowledge、lookup_domain_wiki图像image_search、recognize_image_structured动态 APIgenerate_api数据探查explore_schema、explore_distribution、explore_quality、explore_relations、explore_size行业处理器search_product_price、ae_data_processor、ae_statistics_analyzer、ae_statistics_file_handler每个工具都有adapter.ts/registry.ts/executor.ts三层注册表登记 → 适配器对接services→ 执行器调度。6.2 服务层servicesinterfaces定义契约impl提供实现二者通过 adapter 桥接便于替换底层引擎或做单测 mockAnalyzeServiceImpl/ICleanService/IQueryService/ISchemaService/ISyncService。6.3 基础工具库lib/tools大量基础工具覆盖文本处理、日期时间、编码转换、语言拼音 / 简繁、图像检索、公司爬虫、线索处理、数据转换、MCP 工具等。这构成了 Agent 在非数据场景下的能力底座。7. LLM 多模型配置lib/config/llm.ts这是平台灵活性的核心Provider 注册表alibaba(通义千问) /deepseek/openai/ollama(本地) 为内置未注册的自动走ai-sdk/openai-compatible兜底自建 vLLM、智谱、Kimi 等。场景化配置agent / api / plugin / embedding / vision五类场景各有默认模型、temperature、thinking推理、thinkingBudget、stream 设置。例如 agent 默认开启 thinking预算 4096api/plugin 关闭以提速vision 开启 thinking预算 2048。数据库热配置provider 与场景配置存于数据库启动时把 API Key 加载进内存缓存管理端改完配置调用clearConfigCache即可生效无需重启。厂商原生 SDKalibaba / deepseek 用专用 SDK 以原生解析reasoning_content思考链openai 走 Chat Completions API 以兼容结构化输出generateObject。thinking 透传通过getProviderOptions把enableThinking/thinking.type等私有参数注入providerOptions。8. 数据接入与知识增强应用数据用户、会话、消息、数据集元数据、知识库、API Key、技能、任务、线索、LLM 配置等全部落libSQL / SQLite本地文件或远程 Turso。外部数据源datasourceconnectormysql / postgresql、connection/config/crypto连接凭据加密/scheduler定时/sync全量 / 增量同步。知识库 / RAGknowledgeembedding向量化、wiki-compiler/wiki-injector/wiki-search/wiki-store把领域知识如临床试验术语编译成可检索的 wiki并在推理时注入上下文injector/value-gate控制注入质量工具链集成 jsonata 表达式、opencc-js 简繁、pinyin-pro 拼音。MCPlib/mcpclient提供 Model Context Protocol 支持可把外部 MCP 服务暴露为 Agent 工具并可经 API Key 鉴权与过滤。API Key / 外部 APIapi-keys管理与external-apis让对话产物对外暴露为受鉴权、限流、按表授权的可调用 API。9. 前端体验VSCode 风格 IDE活动栏 可拖拽 resizable panels 工作区标签页 对话面板react-resizable-panels / framer-motion / sonner。工作区实时渲染Agent 每调用一个工具工作区即追加结果页可排序数据表 TablePanel、Recharts 图表 ChartPanel、Markdown 报告 MarkdownPanel、KPI 概览 StatsPanel。对话流ChatPanel/MessageBubble展示消息与工具调用过程带思考链与权限确认交互react-markdown 语法高亮。暗色主题 等宽字体整体交互体验对标 Claude Code / VS Code。10. 安全权限中间件所有工具调用经 permission 层校验requireOwnership等跨用户数据访问受限。只读查询Agent 执行的数据查询仅放行SELECT/WITH禁止 DROP / DELETE / UPDATE / INSERT / ALTER / TRUNCATE / CREATE / GRANT / REVOKE 等危险语句。SQL 注入防护标识符经净化 / 引号包裹查询使用参数化占位符禁用危险关键字。操作审计表结构变更操作记录正向 / 回滚 SQLoperation_history以便追溯。凭据加密数据源连接信息经lib/datasource/crypto加密存储。密钥脱敏API Key / Token 在所有 console / stdout / stderr 输出中被掩码。认证NextAuth.js bcrypt 密码哈希JWT 会话支持微信 OpenID。API 边界外部 API 强制 Key 鉴权、限流、按表授权。上传限制文件大小、类型受控CSV / XLSX / XLS。11. 快速开始# 依赖Bun 为首选运行时 1.3 bun install # 启动 bun run dev # 访问 http://localhost:19410 → 注册 → 登录 → 开始分析常用脚本bun run dev # 开发服务器端口 19410 bun run build / start # 生产构建 / 启动standalone生产部署推荐docker compose up --build镜像内置 Bun Next.js standalone使用本地 libSQL/SQLite 数据库。LLM Provider 的 API Key 也可在运行时通过管理后台/admin/llm配置存于数据库而非.env。一键脚本启动scripts/仓库内置跨平台一键启动脚本自动完成「检测 / 安装 Bun → 安装依赖 → 构建 → 启动生产服务器」全流程# Linux / macOS ./scripts/install_start.sh # WindowsCMD / PowerShell scripts\install_start.bat脚本行为未安装 Bun 时自动下载安装Linux/macOS 走bun.sh/installWindows 走 PowerShellbun.sh/install.ps1执行bun run build构建后bun run start拉起生产服务器访问http://localhost:19410。12. 小结agentic-data不是一个简单的聊天 图表demo而是一套工程化、可扩展的 Agentic 数据分析操作系统内核是一套参考 Claude Code 的 Harness规划 / 执行 / 自纠错 / 权限 / 遥测 / 工具工厂通过多 Provider 多场景的 LLM 配置灵活适配不同模型与成本借助数据源同步、知识库 RAG、Skills 技能、MCP、动态 API、插件、行业分析模板能力可被持续扩展把对话产物沉淀为外部可调用的 API 与可复用技能真正形成数据资产闭环在数据接入、权限、查询安全、密钥管理上有明确的工程约束。它适合作为让业务人员用自然语言分析数据的基础平台尤其对医药等强监管、强领域知识的行业配合内置的 AE 分析模板与 Skills 体系能快速落地为专业工具。