使用 Zeno 可视化 Ragas 评估结果:RAG 评测指标的上传与交互式探索实战指南

发布时间:2026/11/17 3:55:33

使用 Zeno 可视化 Ragas 评估结果:RAG 评测指标的上传与交互式探索实战指南 使用 Zeno 可视化 Ragas 评估结果RAG 评测指标的上传与交互式探索实战指南【免费下载链接】ragasSupercharge Your LLM Application Evaluations 项目地址: https://gitcode.com/gh_mirrors/ra/ragas本指南讲解如何把 Ragas 的 RAG 评估结果context_precision、faithfulness、answer_relevancy、context_recall 等指标得分一键上传到 Zeno 评估平台通过自定义视图与指标面板进行可视化、探索与多模型对比。读完本文你将掌握从运行 Ragas 评估、导出 DataFrame到在 Zeno 上创建项目、定义 RAG 视图、上传数据集与系统输出的完整工作流从而把枯燥的指标数字变成可交互、可下钻、可分享的评估报告。为什么要把 Ragas 结果可视化到 ZenoRagas 的evaluate()会为每个样本逐条计算多项指标得分最终返回一个EvaluationResult对象。直接打印或查看 DataFrame 只能看到一行行数字很难回答这样几个问题哪类问题如单跳事实型、多跳推理型得分普遍偏低检索上下文与生成答案之间存在什么样的对应关系更换模型或提示词后哪些样本的分数发生了变化、变化方向如何Zeno 正是为了解决这类探索式评估问题而设计它支持把原始数据问题、上下文、标准答案、系统输出模型回答和指标得分一起上传并在浏览器中提供按列排序、过滤、分组、逐样本下钻、跨系统对比等能力。搭配 Ragas 的评估流程可以形成评测 → 上传 → 探索 → 定位问题 → 迭代 → 再对比的闭环。需要说明的是zeno-client属于第三方生态包本仓库源码src/ragas/中并不包含 Zeno 的集成代码两者的衔接完全通过标准的 pandas DataFrame 完成——这正是本文工作流的核心枢纽。第一步安装与准备安装 zeno-client在已安装ragas的 Python 环境中执行pip install zeno-client注册账号并获取 API Key在 Zeno Hub 平台注册账号在账号设置页面生成一个 API Key后续所有上传操作都需要该 Key建议通过环境变量注入避免硬编码到代码里。第二步运行 Ragas 评估并导出结果导入所需模块import os import pandas as pd from datasets import load_dataset from zeno_client import ZenoClient, ZenoMetric from ragas import evaluate from ragas.metrics import ( answer_relevancy, context_precision, context_recall, faithfulness, )配置 API Key# Set API keys os.environ[OPENAI_API_KEY] your-openai-api-key os.environ[ZENO_API_KEY] your-zeno-api-keyOPENAI_API_KEY供 Ragas 评估时使用的 LLM如 faithfulness、answer_relevancy 等指标需要 LLM 打分调用ZENO_API_KEY供ZenoClient上传数据使用。加载数据集并执行评估沿用 Getting Started 指南见 docs/getstarted/evals.md的评估流程使用 FIQA 金融问答数据集的ragas_eval子集fiqa_eval load_dataset(vibrantlabsai/fiqa, ragas_eval) result evaluate( fiqa_eval[baseline], metrics[ context_precision, faithfulness, answer_relevancy, context_recall, ], ) df result.to_pandas() df.head()这里选择的四个指标分别覆盖 RAG 链路的不同环节context_precision检索到的上下文中相关信息的占比衡量检索精度faithfulness生成答案与检索上下文之间的事实一致性衡量生成忠实度answer_relevancy答案对问题的相关程度context_recall标准答案中的信息被检索上下文覆盖的比例衡量召回。to_pandas()的底层原理从源码看evaluate()定义见 src/ragas/evaluation.py返回的EvaluationResult内部同时保存了scores每条样本的指标得分列表和dataset原始评估数据集。EvaluationResult.to_pandas()实现见 src/ragas/dataset_schema.py的工作方式如下将scores转为scores_df调用dataset.to_pandas()将原始样本转为dataset_df底层通过model_dump()展开SingleTurnSample等数据模型见 src/ragas/dataset.py用pd.concat([dataset_df, scores_df], axis1)按行横向拼接。因此df中每行既包含原始样本字段question、contexts、answer、ground_truth 等又并列着四个指标得分列。Zeno 上传所需的全部信息都来自这个 DataFrame。SingleTurnSample的字段定义可参见 src/ragas/dataset_schema.py其中user_input、retrieved_contexts、response、reference与 Zeno 视图中的 question、texts、answer、ground_truth 一一对应。第三步在 Zeno 上创建项目拿到df后先在 Zeno 上创建一个项目并用自定义 RAG 视图声明每条样本如何渲染同时声明需要按哪些指标列进行统计client ZenoClient(os.environ[ZENO_API_KEY]) project client.create_project( nameRagas FICA eval, descriptionEvaluation of RAG model using Ragas on the FICA dataset, view{ data: { type: vstack, keys: { question: {type: markdown}, texts: { type: list, elements: {type: markdown}, border: True, pad: True, }, }, }, label: { type: markdown, }, output: { type: vstack, keys: { answer: {type: markdown}, ground_truth: { type: list, elements: {type: markdown}, border: True, pad: True, }, }, }, size: large, }, metrics[ ZenoMetric( namecontext_precision, typemean, columns[context_precision] ), ZenoMetric(namefaithfulness, typemean, columns[faithfulness]), ZenoMetric(nameanswer_relevancy, typemean, columns[answer_relevancy]), ZenoMetric(namecontext_recall, typemean, columns[context_recall]), ], )要点说明view声明了 Zeno 界面上数据与输出两栏的渲染结构问题用 markdown 展示检索上下文以带边框的 markdown 列表vstack纵向堆叠展示标准答案和模型回答同样用 markdown/列表呈现metrics中的每个ZenoMetric对应一个指标列typemean表示在项目面板上以均值聚合该列columns指向df中对应的列名项目名称与描述会显示在 Zeno Hub 的项目页面上建议命名包含数据集与评测目标便于后续检索与分享。第四步上传基础数据集项目创建后先把数据 标准答案作为基础数据集上传。这里的关键是从df重组出 Zeno 期望的三列结构data_df pd.DataFrame( { data: df.apply( lambda x: {question: x[question], texts: list(x[contexts])}, axis1 ), label: df[ground_truth].apply(lambda x: \n.join(x)), } ) data_df[id] data_df.index project.upload_dataset( data_df, id_columnid, data_columndata, label_columnlabel )data列是结构化对象包含question与texts检索上下文列表与项目view中声明的data渲染结构对应label列存放标准答案ground_truth多条时用换行连接id列是样本唯一标识后续上传系统输出时必须用相同的id才能对齐到对应样本。第五步上传系统输出与指标得分最后把模型输出answer与四项 Ragas 指标得分作为一个系统上传。你可以为每个待对比的模型/版本重复执行这一步从而在同一个项目里横向对比多个系统的表现output_df df[ [ context_precision, faithfulness, answer_relevancy, context_recall, ] ].copy() output_df[output] df.apply( lambda x: {answer: x[answer], ground_truth: list(x[ground_truth])}, axis1 ) output_df[id] output_df.index project.upload_system( output_df, nameBase System, id_columnid, output_columnoutput )output_df保留了四个指标列Zeno 会依据项目中声明的ZenoMetric对它们进行统计展示output列存放模型生成的答案与view中的output渲染结构对应nameBase System是该系统的展示名后续上传其他系统如调优后的提示词、换用其他 LLM时使用不同名称即可并排对比id_column与数据集上传时保持一致保证输出与样本正确匹配。完整工作流回顾与实战建议整个流程可以归纳为五步评测用ragas.evaluate()跑出四项 RAG 指标result.to_pandas()得到同时含原始字段与得分列的 DataFrame建项ZenoClient.create_project()声明自定义 RAG 视图与指标聚合方式传数据upload_dataset()上传问题、检索上下文与标准答案传系统upload_system()上传模型回答与指标得分对比迭代对每个候选系统重复第 4 步在 Zeno 中下钻分析。实战中值得注意的几点多系统对比迭代提示词、更换 LLM 或调整检索策略后用相同的id与指标列再跑一轮evaluate()并upload_system()即可在 Zeno 中直接看到各系统在同一批样本上的得分差异指标列必须与df列名严格一致ZenoMetric(columns[...])与upload_system的 DataFrame 列名、view中的字段名三处需要对齐否则数据无法正确渲染或统计逐样本下钻Zeno 中点击任一数据点即可同时看到问题、检索上下文、模型回答与标准答案非常适合定位 faithfulness 或 context_precision 偏低的失败样本反哺数据清洗与提示词优化。深入阅读评估入口与返回类型src/ragas/evaluation.pyEvaluationResult.to_pandas()拼接实现src/ragas/dataset_schema.pySingleTurnSample样本字段定义src/ragas/dataset_schema.py四个指标在ragas.metrics中的导出位置src/ragas/metrics/init.pyGetting Started 评估入门docs/getstarted/evals.md【免费下载链接】ragasSupercharge Your LLM Application Evaluations 项目地址: https://gitcode.com/gh_mirrors/ra/ragas创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
延伸阅读

更多相关文章

2026/11/13 23:21:42

Java 21 + Spring Boot 3 构建企业级 RAG 智能体工作流引擎

1. 项目概述:为什么在 Java 生态里重做 RAG 智能体工作流不是“倒退”,而是精准卡位别卷 Python 了——这句话不是情绪宣泄,是我在连续交付 7 个 AI 增强型企业系统后的真实判断。过去两年,我带团队用 Python LangChain LangGr…

2026/11/13 20:50:18

system.img修改全攻略:格式识别、解包重打包与刷写避坑指南

1. system.img为何要改:先搞清楚这张"系统盘"的脾气玩Android的时间稍微长一点,基本都会遇到这个需求:自带应用删不掉、想加个开机脚本、想把某几个系统应用替换成自己改过的版本、或者单纯想把谷歌全家桶从国行固件里拔掉。这些操…

2026/11/16 22:25:01

MyBatis与EHCache整合优化数据库性能实践

1. 为什么需要整合MyBatis与EHCache在数据密集型应用中,数据库访问往往是性能瓶颈的主要来源。我们团队在电商促销系统开发中就深有体会——当秒杀活动开始时,商品详情查询的QPS瞬间从200飙升到8000,直接导致数据库连接池耗尽。这时候&#x…

2026/11/17 3:53:20

攀枝花学院电工证怎么报名?证书过期了怎么复审延期

攀枝花学院电工证怎么报名?证书过期了怎么复审延期 你是不是也遇到过这种情况:手头的【攀枝花学院电工证】快到期了,却不知道怎么操作?别急,今天咱们就来聊聊怎么报名、怎么复审,帮你把证书“续命”搞定,避免停工、罚款甚至被行业淘汰。…

2026/11/17 3:53:20

南宁电工证报考网站全流程办理指南:郑州报考避坑指南

南宁电工证报考网站全流程办理指南:郑州报考避坑指南 你是不是正被“急需特种作业证才能上岗找工作”这句话压得喘不过气?别急,今天咱们就来聊聊【南宁电工证报考网站】,帮你搞懂报考流程,避开郑州报考的那些坑,手把手教你拿下电工证,顺利上岗。…

2026/11/17 3:53:20

新疆电工证登高证考前必看良心建议:别交完钱考不过

新疆电工证登高证考前必看良心建议:别交完钱考不过 怕考不过白交培训费?你不是一个人。很多人在报名新疆电工证或登高证时,心里都打鼓,担心花了钱还拿不到证。这不是怕花钱,而是怕“白花钱”。所以今天我从安阳转岗过来的老手角度,给你几个 良心建议…

2026/11/17 3:53:20

西宁电工证考试流程多少钱?电工证考下来真的能找工作吗

西宁电工证考试流程多少钱?电工证考下来真的能找工作吗 你是不是刚毕业就急着找工作?手里没证,企业根本不看你的简历?电工证就是你最硬的敲门砖,西宁电工证考试流程你知道多少?多少钱?别急,这篇全讲透,看完你就知道怎么考、怎么用、怎么赚钱。…

2026/11/17 3:53:20

特种作业操作证电工证到期换证流程

电工证实操考试心里没底?真实经历告诉你怎么过 实操考试心里没底怕挂科,这事儿真不是一个人的烦恼。去年河南省应急管理厅组织的一次电工证复审培训里,我听一位学员说:“考了三次才过实操,差点就放弃。”他不是个例,而是大多数特种作业操作证电工证报考…

2026/11/17 3:48:20

温岭到那考电工证官方回应:证书有效期多久?找工作必须知道

温岭到那考电工证官方回应:证书有效期多久?找工作必须知道 找工作没证?别急!官方回应温岭到那考电工证有效期多久,别再踩坑了。很多人以为考了电工证就能上岗,其实不是这么简单,证书有效期、考试流程、机构选择、考试内容都得搞清楚。别等面试时被问得…

2026/11/16 7:29:52

电工证考试口诉怎么准备值不值得考

电工证考试口诉怎么准备值不值得考 实操考试心里没底怕挂科,这是大多数准备考电工证的人心里最真实的感受。尤其是面对【电工证考试口诉】环节,很多人不知道该怎么准备,甚至担心自己说不好就被淘汰。其实,只要掌握方法, 值不值得考…

2026/11/16 5:30:20

桑植县考电工证千万别踩坑!报名全流程教你避坑

桑植县考电工证千万别踩坑!报名全流程教你避坑 你是不是也遇到过这种情况:想考个电工证,但不知道从哪儿下手,怕被中介坑,怕花冤枉钱,更怕考了证还不能用?别急,这正是你该看这篇文章的原因。在桑植县考电工证,确实有很多人被坑过,但只要你知道流程、…

2026/11/17 0:02:41

电工证操作和资格证有效期多久?真实经历告诉你怎么复审延期

电工证操作和资格证有效期多久?真实经历告诉你怎么复审延期 证书过期了不知道怎么复审延期,这种情况在电工圈里太常见了。我有个同事,去年刚把低压电工证给弄丢了,直到单位查岗才发现证书已经过期,差点被停工处理。今天就用我真实经历给你讲讲电工证操作…

2026/11/17 0:02:41

机修需不需要电工证 在哪考最靠谱 这些细节必须知道

机修需不需要电工证 在哪考最靠谱 这些细节必须知道 之前考的证在外省能不能转过来?这个问题几乎每个特种作业从业者都问过。特别是像你这样,之前在外省考了证,现在想在本地扎根,或者想换证、换岗的机修人员,最关心的就是【机修需不需要电工证】和【在…

2026/11/17 0:02:41

工地太忙根本没时间复习考试?真实经历告诉你电工证年检步骤是什么

工地太忙根本没时间复习考试?真实经历告诉你电工证年检步骤是什么 工地太忙根本没时间复习考试,我理解你。作为一名刚从焦作工程类院校毕业的学生,我也经历过这种困扰。电工证年检步骤是什么,听起来简单,但实际操作中,很多人因为流程不清楚、资料准备不…

2026/11/17 0:49:41

面向复杂光照与角度的宠物面部识别鲁棒性增强策略

在智慧养宠时代,基于视觉的宠物身份识别技术正逐步从实验室走向家庭应用。然而,与配合度高的人类不同,宠物是典型的“非合作生物识别对象”——它们不会主动配合摄像头调整姿态,更无法控制光照环境。实际应用中,我们常…

2026/11/16 3:17:47

SSM电子书店源码全解析:结构、原理、部署与排错实战

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

还想了解更多?直接咨询顾问

免费诊断 + 免费方案 + 透明报价。

全国咨询热线400-8866-253
免费获取方案
☎咨询二维码 ☎ ↑