AI指标体系流畅度指标维度指标定义响应时间简单任务≤1s复杂任务≤3s核心功能的平均响应时间复杂任务平均响应时间操作流畅度最大丢帧耗时≤34ms操作功能界面过渡动画流畅度资源占用不大于内存阈值AI运行时内存占用避免过度消耗导致发热续航下降明显功能可靠性指标维度指标定义任务完成率简单任务≥98%复杂任务≥90%基础功能成功率占比复杂功能成功率占比结果准确性语音和文本生成≥95%图像类别识别≥90%语音类的指标准确率达标文本生成无语法错误图像识别/分类准确达标稳定性ANR1,无5类故障Monkey20台机器连续高频度使用奔溃率异常率指标交互自然性指标维度指标定义语义理解准确度≥90%模糊指令理解多轮对话中上下文关联准确视觉交互一致性一致性≥90%范式化交互场景核心视觉元素一致性反馈自然度用户主观评分≥4分A回复符合人类对话无机槭感语音合成音色自然度隐私和合规指标维度指标定义数据采集合规性合规性100%仅采集必要数据用户授权敏感信息自动脱敏数据存储安全性无泄漏本地数据加密存储云端数据传输加密强度数据泄露风险事件发生率为0权限管控精准度精准100%AI功能调用敏感权限时用户实时授权异常权限调用拦截率100%过度干扰和主动打扰指标维度指标定义场景不适配行为检测不适配场景≤5%敏感场景≤1次/周不当时间触发敏感场合干扰用户控制权AI主动行为关闭率100%控制AI行为的调研≥80%用户是否可以关闭AI主动行为推送是否明确告知理由是否有个性化设置项打扰频次≤3-5次/天7-10次属须误唤醒率≤1-2次/天单位时间内AI交互次数非用户主动发起的AI行为占比高峰时段打扰占比生态兼容指标维度指标定义跨设备联动智能互动场景≥3跨设备同步如闺蜜机时数据完整性≥99%应用适配范围本地应用≥95%三方主流应用≥90%与手机自带应用联动支持主流第三方应用调用等
AI指标体系流畅度指标维度指标定义响应时间简单任务≤1s复杂任务≤3s核心功能的平均响应时间复杂任务平均响应时间操作流畅度最大丢帧耗时≤34ms操作功能界面过渡动画流畅度资源占用不大于内存阈值AI运行时内存占用避免过度消耗导致发热续航下降明显功能可靠性指标维度指标定义任务完成率简单任务≥98%复杂任务≥90%基础功能成功率占比复杂功能成功率占比结果准确性语音和文本生成≥95%图像类别识别≥90%语音类的指标准确率达标文本生成无语法错误图像识别/分类准确达标稳定性ANR1,无5类故障Monkey20台机器连续高频度使用奔溃率异常率指标交互自然性指标维度指标定义语义理解准确度≥90%模糊指令理解多轮对话中上下文关联准确视觉交互一致性一致性≥90%范式化交互场景核心视觉元素一致性反馈自然度用户主观评分≥4分A回复符合人类对话无机槭感语音合成音色自然度隐私和合规指标维度指标定义数据采集合规性合规性100%仅采集必要数据用户授权敏感信息自动脱敏数据存储安全性无泄漏本地数据加密存储云端数据传输加密强度数据泄露风险事件发生率为0权限管控精准度精准100%AI功能调用敏感权限时用户实时授权异常权限调用拦截率100%过度干扰和主动打扰指标维度指标定义场景不适配行为检测不适配场景≤5%敏感场景≤1次/周不当时间触发敏感场合干扰用户控制权AI主动行为关闭率100%控制AI行为的调研≥80%用户是否可以关闭AI主动行为推送是否明确告知理由是否有个性化设置项打扰频次≤3-5次/天7-10次属须误唤醒率≤1-2次/天单位时间内AI交互次数非用户主动发起的AI行为占比高峰时段打扰占比生态兼容指标维度指标定义跨设备联动智能互动场景≥3跨设备同步如闺蜜机时数据完整性≥99%应用适配范围本地应用≥95%三方主流应用≥90%与手机自带应用联动支持主流第三方应用调用等
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
