Arize Phoenix 推理可视化三步用 UMAP 看清模型漂移【免费下载链接】phoenixAI Observability Evaluation项目地址: https://gitcode.com/gh_mirrors/phoenix13/phoenix模型上线跑了一段时间之后你未必能立刻回答这两个问题它最近是不是变笨了它到底在什么输入上犯浑Arize Phoenix 推理可视化把每条推理记录变成散点图上的一个点训练与生产数据叠在一起分布异常和坏簇直接可见。Arize Phoenix 推理可视化能解决什么问题核心手段是 UMAP 投影把高维 embedding 向量压到二维平面相似的点就近落座。围绕它Phoenix 最常干的四件事模型漂移检测训练、生产数据叠在同一空间漂出训练云外的那部分点就是漂移低性能聚类发现总判错的样本会自己聚成一堆套lasso 一圈就能看清共性检索质量诊断RAG、向量检索结果叠进同一视图哪些文档被反复漏掉一目了然再训练数据导出圈中的点可以直接导成 DataFrame拿去微调或补标注三步跑通从 Parquet 到本地可视化第一步装包embeddings 扩展会带上 UMAP 相关依赖pip install -Uq arize-phoenix[embeddings]第二步把 Parquet 读进来用 Schema 说清列的角色哪列是时间戳、预测标签、真实标签再用 Inferences 包住 DataFrameimport phoenix as px, pandas as pd df pd.read_parquet(human_actions_training.parquet) schema px.Schema( timestamp_column_nameprediction_ts, prediction_label_column_namepredicted_action, ) train px.Inferences(dataframedf, schemaschema, nametraining)第三步起本地应用浏览器打开就能看px.launch_app(primarytrain)训练与生产数据对比怎么配生产数据通常没有真实标签训练数据有所以惯例是生产数据进 primary 当被检对象训练数据进 reference 当基准。prod_df 用同样的 read_parquet 读入prod_schema 少写一个 actual_label_column_name 参数即可prod px.Inferences(dataframeprod_df, schemaprod_schema, nameproduction) px.launch_app(primaryprod, referencetrain)两组点落进同一坐标系后生产点漂出训练云的位置就是你该重点查的地方。UMAP 视图里先看哪三处打开应用别乱翻先看这三处UMAP 投影入口在左侧列区切到 embedding 列的 UMAP 投影视图它是漂移检测的主阵地着色维度先按「预测对/错」着色找坏簇再按时间戳着色判断漂移是持续的还是偶发的Lasso 圈选圈住一整片离群点右侧表格和源链接会列出选中样本特征一致就直接导出当再训练素材做 LLM 时思路相同把输入输出或检索结果的 embedding 放进同一份 Inferences就能在同一个 UMAP 视图里查模型有没有偏移。什么时候该上 Arize 平台数据量上来了、需要 7x24 采集、或者希望告警主动找人时就从本地 Phoenix 迁到 Arize 平台实时监控推理流持续采集不用每次手工导 Parquet漂移告警给阈值设告警异常扩大前收到通知权限管理企业级访问控制各团队只看自己的项目小结推理可视化把「模型是不是变了」从感觉题变成在图上指着簇说话两份 Inferences 对象留好之后换 reference 就能反复做版本对比看完簇还没结论时把 lasso 选中的点导出去微调或补标注形成数据闭环【免费下载链接】phoenixAI Observability Evaluation项目地址: https://gitcode.com/gh_mirrors/phoenix13/phoenix创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
Arize Phoenix 推理可视化三步用 UMAP 看清模型漂移【免费下载链接】phoenixAI Observability Evaluation项目地址: https://gitcode.com/gh_mirrors/phoenix13/phoenix模型上线跑了一段时间之后你未必能立刻回答这两个问题它最近是不是变笨了它到底在什么输入上犯浑Arize Phoenix 推理可视化把每条推理记录变成散点图上的一个点训练与生产数据叠在一起分布异常和坏簇直接可见。Arize Phoenix 推理可视化能解决什么问题核心手段是 UMAP 投影把高维 embedding 向量压到二维平面相似的点就近落座。围绕它Phoenix 最常干的四件事模型漂移检测训练、生产数据叠在同一空间漂出训练云外的那部分点就是漂移低性能聚类发现总判错的样本会自己聚成一堆套lasso 一圈就能看清共性检索质量诊断RAG、向量检索结果叠进同一视图哪些文档被反复漏掉一目了然再训练数据导出圈中的点可以直接导成 DataFrame拿去微调或补标注三步跑通从 Parquet 到本地可视化第一步装包embeddings 扩展会带上 UMAP 相关依赖pip install -Uq arize-phoenix[embeddings]第二步把 Parquet 读进来用 Schema 说清列的角色哪列是时间戳、预测标签、真实标签再用 Inferences 包住 DataFrameimport phoenix as px, pandas as pd df pd.read_parquet(human_actions_training.parquet) schema px.Schema( timestamp_column_nameprediction_ts, prediction_label_column_namepredicted_action, ) train px.Inferences(dataframedf, schemaschema, nametraining)第三步起本地应用浏览器打开就能看px.launch_app(primarytrain)训练与生产数据对比怎么配生产数据通常没有真实标签训练数据有所以惯例是生产数据进 primary 当被检对象训练数据进 reference 当基准。prod_df 用同样的 read_parquet 读入prod_schema 少写一个 actual_label_column_name 参数即可prod px.Inferences(dataframeprod_df, schemaprod_schema, nameproduction) px.launch_app(primaryprod, referencetrain)两组点落进同一坐标系后生产点漂出训练云的位置就是你该重点查的地方。UMAP 视图里先看哪三处打开应用别乱翻先看这三处UMAP 投影入口在左侧列区切到 embedding 列的 UMAP 投影视图它是漂移检测的主阵地着色维度先按「预测对/错」着色找坏簇再按时间戳着色判断漂移是持续的还是偶发的Lasso 圈选圈住一整片离群点右侧表格和源链接会列出选中样本特征一致就直接导出当再训练素材做 LLM 时思路相同把输入输出或检索结果的 embedding 放进同一份 Inferences就能在同一个 UMAP 视图里查模型有没有偏移。什么时候该上 Arize 平台数据量上来了、需要 7x24 采集、或者希望告警主动找人时就从本地 Phoenix 迁到 Arize 平台实时监控推理流持续采集不用每次手工导 Parquet漂移告警给阈值设告警异常扩大前收到通知权限管理企业级访问控制各团队只看自己的项目小结推理可视化把「模型是不是变了」从感觉题变成在图上指着簇说话两份 Inferences 对象留好之后换 reference 就能反复做版本对比看完簇还没结论时把 lasso 选中的点导出去微调或补标注形成数据闭环【免费下载链接】phoenixAI Observability Evaluation项目地址: https://gitcode.com/gh_mirrors/phoenix13/phoenix创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
