Fable 5回归测试成绩惨烈能力指标直线下滑万众期待的Fable 5宣告回归然而现实却极其惨烈。模型恢复上线后BridgeMind重跑BridgeBench基准测试结果显示调试能力从86.2直线坠落至25.9狂跌百分之七十重构能力从73.6暴跌至38.4直接腰斩最基础的幻觉指标也从75.9狼狈滑落到61.7。安全护栏成“罪魁祸首”开发者使用体验糟糕开发者在使用Fable 5时也状况百出。有人用其做安全审计却遭遇拒绝执行有人做普通教育工具触发安全标记被系统踢出涉及AuthN或AuthZ认证模块的项目几乎百分百触发护栏。测试的12道题里仅3道真正跑在Fable 5上其余9道被安全分类器拦截强制切成上一代的Opus 4.8。BridgeMind分析认为只要任务能跑通Fable 5和6月12日被禁前一样强问题出在护栏上。官方也承认是刻意将安全分类器设置为对大概率无害的请求触发拦截且审查范围广泛包括历史对话记忆、接入的连接器、网络搜索结果和上传的文件等。此前问题不断回归后仍难让开发者满意Fable 5此前就状况不断。6月9日亮相两天后被发现暗藏反蒸馏护栏暗中篡改prompt6月12日因能识别软件漏洞并产出利用代码被下达全球禁令。7月1日带着“全新的护栏”回归虽被评价“异常强大”但75%的正常调试任务被扼杀。开发者对Fable 5的怒火被彻底点燃。有网友反映现在Fable 5吐答案快但质量差还出现token消耗量夸张、Opus也变蠢等问题。媒体实测用其生成HTML动画结果无一可用。编辑观点Fable 5虽能力未减但严格的安全护栏使其难以发挥作用引发开发者不满Anthropic需平衡安全与可用性否则将失去开发者信任。
Fable 5回归测试成绩惨烈能力指标直线下滑万众期待的Fable 5宣告回归然而现实却极其惨烈。模型恢复上线后BridgeMind重跑BridgeBench基准测试结果显示调试能力从86.2直线坠落至25.9狂跌百分之七十重构能力从73.6暴跌至38.4直接腰斩最基础的幻觉指标也从75.9狼狈滑落到61.7。安全护栏成“罪魁祸首”开发者使用体验糟糕开发者在使用Fable 5时也状况百出。有人用其做安全审计却遭遇拒绝执行有人做普通教育工具触发安全标记被系统踢出涉及AuthN或AuthZ认证模块的项目几乎百分百触发护栏。测试的12道题里仅3道真正跑在Fable 5上其余9道被安全分类器拦截强制切成上一代的Opus 4.8。BridgeMind分析认为只要任务能跑通Fable 5和6月12日被禁前一样强问题出在护栏上。官方也承认是刻意将安全分类器设置为对大概率无害的请求触发拦截且审查范围广泛包括历史对话记忆、接入的连接器、网络搜索结果和上传的文件等。此前问题不断回归后仍难让开发者满意Fable 5此前就状况不断。6月9日亮相两天后被发现暗藏反蒸馏护栏暗中篡改prompt6月12日因能识别软件漏洞并产出利用代码被下达全球禁令。7月1日带着“全新的护栏”回归虽被评价“异常强大”但75%的正常调试任务被扼杀。开发者对Fable 5的怒火被彻底点燃。有网友反映现在Fable 5吐答案快但质量差还出现token消耗量夸张、Opus也变蠢等问题。媒体实测用其生成HTML动画结果无一可用。编辑观点Fable 5虽能力未减但严格的安全护栏使其难以发挥作用引发开发者不满Anthropic需平衡安全与可用性否则将失去开发者信任。
