测试框架指南【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge返回 DT用例开发总纲UT/ST开发时有一些测试能力是繁琐且公用的这些工作包括构造计算图等输入、接管rts等底层接口、校验一张图的正确性等。这些代码难度不高但是很冗长如果直接在用例中编写会影响用例的可读性并且导致用例之间存在大量重复代码。因此在测试框架中提供了faker、stub、checker等机制分别用于构造输入、打桩底层接口、校验输出。本节介绍测试框架中已经提供的各种能力让您在有一个新的公共能力需求时可以快速了解当前测试框架是否已经提供了这个功能。因此这里仅做概要介绍如果需要详细的使用说明请参考对应框架能力的头文件和文档。测试基类测试基类继承自gtest的testing::Test并在SetUp和TearDown中做一些公共的初始化和清理动作以减少用例的冗余代码。当前封装的测试基类有BgTest无setup处理TearDown时自动清空所有ValueHolder的FrameBgTestAutoCreateFramesetup时自动创建一个根FrameTearDown时自动清空所有ValueHolder的FrameBgTestAutoCreate3StageFramesetup时自动创建好Init、Main、DeInit三个节点的图并将当前的Frame选择为Main图的FrameTearDown时自动清空所有ValueHolder的Frame以上基类的头文件#include common/bg_test.hfaker介绍faker用于构造一些数据这些数据可以方便地用于UT或ST测试当前支持的faker有Graph DSL声明式构图#include ge_graph_dsl/graph_dsl.hGraph DSL 基于 easy_graph 库封装提供了宏驱动的图构建方式替代冗长的手动构图代码。核心能力如下核心宏DEF_GRAPH(name) { ... }定义图CHAIN(...)定义一条节点-边-节点的链路NODE(name, op_type)创建节点EDGE(src_out_idx, dst_in_idx)创建数据边算子配置OP_CFG(op_type)创建流式算子描述配置支持.TensorDesc()、.Weight()、.Attr()、.InputAttr()、.OutputAttr()、.InCnt()、.OutCnt()等链式调用图转换ToGeGraph(graph)→ge::GraphToComputeGraph(graph)→ComputeGraphPtrToExecuteGraph(graph)→ExecuteGraphPtr图断言DUMP_GRAPH_WHEN(phase1, ...)在指定编译阶段捕获图快照CHECK_GRAPH(phase_id) { ... }对快照执行断言校验详细用法见 ST用例开发指导使用示例#include ge_graph_dsl/graph_dsl.h #include ge_graph_dsl/assert/graph_assert.h TEST_F(MyUT, BuildAndCheckGraph) { // 配置算子 auto data_cfg OP_CFG(DATA).TensorDesc(FORMAT_NCHW, DT_FLOAT, {1, 224, 224, 224}); auto add_cfg OP_CFG(ADD).TensorDesc(FORMAT_NCHW, DT_FLOAT, {1, 224, 224, 224}); // 声明式构图 DEF_GRAPH(g) { CHAIN(NODE(data_0, data_cfg)-EDGE(0, 0)-NODE(add, add_cfg)); CHAIN(NODE(data_1, data_cfg)-EDGE(0, 1)-NODE(add, add_cfg)); CHAIN(NODE(add, add_cfg)-NODE(netoutput, NETOUTPUT)); }; // 转换为GE图 auto compute_graph ToComputeGraph(g); ASSERT_NE(compute_graph, nullptr); }其他fakerNodeFaker仿冒一个ge::NodePtr对象#include faker/node_faker.hTensorFaker仿冒一个或多个gert::Tensor#include faker/fake_value.hKernelRunContextFaker仿冒KernelContext这是一个系列的faker除了常规的KernelContext还可以仿冒TilingContext、InferShapeContext#include faker/kernel_run_context_facker.hGeModelBuilder接受一个计算图对象将其仿冒为Model#include faker/ge_model_builder.hModelDataFaker接受一个model将其仿冒为ModelData#include faker/model_data_faker.hGlobalDataFaker仿冒一个LoweringGlobalData#include faker/global_data_faker.hMagicOpFaker仿冒一个算子的完整实现包括Lowering及其完整kernel#include faker/magic_ops.hstub介绍stub打桩和接管运行时环境例如slog、rts等同时提供了接口可供用例中验证从日志、rts等视角GE的调用行为是否正确。对于编译时来说对底层的依赖较少因此几乎不需要打桩。对于执行时来说stub有个一揽子解决方案GertRuntimeStub#include stub/gert_runtime_stub.h。该类一旦被实例化则自动打桩所有的rts接口接管slog监听日志接管node converter和kernel的registry。接下来用例中可以操作该实例仅影响本用例行为不会影响到全局的其他用例。例如在某个用例中我们期望校验一条日志TEST_F(KernelLogUT, KLog_Success_LogError) { GertRuntimeStub stub; auto context_holder KernelRunContextFaker().KernelName(tn).KernelType(tt).Build(); auto context context_holder.GetContextKernelContext(); stub.GetSlogStub().Clear(); KLOGE(Hello world); KLOGE(Hello world %d, 123); ASSERT_EQ(stub.GetSlogStub().GetLogs().size(), 2); ASSERT_EQ(stub.GetSlogStub().GetLogs().at(0).level, DLOG_ERROR); ASSERT_EQ(stub.GetSlogStub().GetLogs().at(1).level, DLOG_ERROR); ASSERT_ENDSWITH(stub.GetSlogStub().GetLogs().at(0).content, [tt][tn]Hello world); ASSERT_ENDSWITH(stub.GetSlogStub().GetLogs().at(1).content, [tt][tn]Hello world 123); }checker介绍checker主要集中在图校验中当前提供了如下checker能力SummaryChecker校验一张图的整体信息例如有多少节点每类节点的个数等#include common/summary_checker.hTopoChecker校验拓扑信息可方便地校验某个node有多少输出或输入可以链式校验一串node的连边关系#include common/topo_checker.h测试框架的改进测试框架也是由开发人员维护的而且目前测试框架没有被划为单独的责任田因此鼓励任何人主动改进测试框架改进项包含但不限于新增faker/stub/checker等框架能力、修复测试框架已有bug、提升易用性等等。【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
测试框架指南【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge返回 DT用例开发总纲UT/ST开发时有一些测试能力是繁琐且公用的这些工作包括构造计算图等输入、接管rts等底层接口、校验一张图的正确性等。这些代码难度不高但是很冗长如果直接在用例中编写会影响用例的可读性并且导致用例之间存在大量重复代码。因此在测试框架中提供了faker、stub、checker等机制分别用于构造输入、打桩底层接口、校验输出。本节介绍测试框架中已经提供的各种能力让您在有一个新的公共能力需求时可以快速了解当前测试框架是否已经提供了这个功能。因此这里仅做概要介绍如果需要详细的使用说明请参考对应框架能力的头文件和文档。测试基类测试基类继承自gtest的testing::Test并在SetUp和TearDown中做一些公共的初始化和清理动作以减少用例的冗余代码。当前封装的测试基类有BgTest无setup处理TearDown时自动清空所有ValueHolder的FrameBgTestAutoCreateFramesetup时自动创建一个根FrameTearDown时自动清空所有ValueHolder的FrameBgTestAutoCreate3StageFramesetup时自动创建好Init、Main、DeInit三个节点的图并将当前的Frame选择为Main图的FrameTearDown时自动清空所有ValueHolder的Frame以上基类的头文件#include common/bg_test.hfaker介绍faker用于构造一些数据这些数据可以方便地用于UT或ST测试当前支持的faker有Graph DSL声明式构图#include ge_graph_dsl/graph_dsl.hGraph DSL 基于 easy_graph 库封装提供了宏驱动的图构建方式替代冗长的手动构图代码。核心能力如下核心宏DEF_GRAPH(name) { ... }定义图CHAIN(...)定义一条节点-边-节点的链路NODE(name, op_type)创建节点EDGE(src_out_idx, dst_in_idx)创建数据边算子配置OP_CFG(op_type)创建流式算子描述配置支持.TensorDesc()、.Weight()、.Attr()、.InputAttr()、.OutputAttr()、.InCnt()、.OutCnt()等链式调用图转换ToGeGraph(graph)→ge::GraphToComputeGraph(graph)→ComputeGraphPtrToExecuteGraph(graph)→ExecuteGraphPtr图断言DUMP_GRAPH_WHEN(phase1, ...)在指定编译阶段捕获图快照CHECK_GRAPH(phase_id) { ... }对快照执行断言校验详细用法见 ST用例开发指导使用示例#include ge_graph_dsl/graph_dsl.h #include ge_graph_dsl/assert/graph_assert.h TEST_F(MyUT, BuildAndCheckGraph) { // 配置算子 auto data_cfg OP_CFG(DATA).TensorDesc(FORMAT_NCHW, DT_FLOAT, {1, 224, 224, 224}); auto add_cfg OP_CFG(ADD).TensorDesc(FORMAT_NCHW, DT_FLOAT, {1, 224, 224, 224}); // 声明式构图 DEF_GRAPH(g) { CHAIN(NODE(data_0, data_cfg)-EDGE(0, 0)-NODE(add, add_cfg)); CHAIN(NODE(data_1, data_cfg)-EDGE(0, 1)-NODE(add, add_cfg)); CHAIN(NODE(add, add_cfg)-NODE(netoutput, NETOUTPUT)); }; // 转换为GE图 auto compute_graph ToComputeGraph(g); ASSERT_NE(compute_graph, nullptr); }其他fakerNodeFaker仿冒一个ge::NodePtr对象#include faker/node_faker.hTensorFaker仿冒一个或多个gert::Tensor#include faker/fake_value.hKernelRunContextFaker仿冒KernelContext这是一个系列的faker除了常规的KernelContext还可以仿冒TilingContext、InferShapeContext#include faker/kernel_run_context_facker.hGeModelBuilder接受一个计算图对象将其仿冒为Model#include faker/ge_model_builder.hModelDataFaker接受一个model将其仿冒为ModelData#include faker/model_data_faker.hGlobalDataFaker仿冒一个LoweringGlobalData#include faker/global_data_faker.hMagicOpFaker仿冒一个算子的完整实现包括Lowering及其完整kernel#include faker/magic_ops.hstub介绍stub打桩和接管运行时环境例如slog、rts等同时提供了接口可供用例中验证从日志、rts等视角GE的调用行为是否正确。对于编译时来说对底层的依赖较少因此几乎不需要打桩。对于执行时来说stub有个一揽子解决方案GertRuntimeStub#include stub/gert_runtime_stub.h。该类一旦被实例化则自动打桩所有的rts接口接管slog监听日志接管node converter和kernel的registry。接下来用例中可以操作该实例仅影响本用例行为不会影响到全局的其他用例。例如在某个用例中我们期望校验一条日志TEST_F(KernelLogUT, KLog_Success_LogError) { GertRuntimeStub stub; auto context_holder KernelRunContextFaker().KernelName(tn).KernelType(tt).Build(); auto context context_holder.GetContextKernelContext(); stub.GetSlogStub().Clear(); KLOGE(Hello world); KLOGE(Hello world %d, 123); ASSERT_EQ(stub.GetSlogStub().GetLogs().size(), 2); ASSERT_EQ(stub.GetSlogStub().GetLogs().at(0).level, DLOG_ERROR); ASSERT_EQ(stub.GetSlogStub().GetLogs().at(1).level, DLOG_ERROR); ASSERT_ENDSWITH(stub.GetSlogStub().GetLogs().at(0).content, [tt][tn]Hello world); ASSERT_ENDSWITH(stub.GetSlogStub().GetLogs().at(1).content, [tt][tn]Hello world 123); }checker介绍checker主要集中在图校验中当前提供了如下checker能力SummaryChecker校验一张图的整体信息例如有多少节点每类节点的个数等#include common/summary_checker.hTopoChecker校验拓扑信息可方便地校验某个node有多少输出或输入可以链式校验一串node的连边关系#include common/topo_checker.h测试框架的改进测试框架也是由开发人员维护的而且目前测试框架没有被划为单独的责任田因此鼓励任何人主动改进测试框架改进项包含但不限于新增faker/stub/checker等框架能力、修复测试框架已有bug、提升易用性等等。【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
