--op_precision_mode【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge产品支持情况全量芯片支持功能说明设置指定算子内部处理时的精度模式支持指定一个算子或多个算子。关联参数该参数不能与--op_select_implmode、--optypelist_for_implmode参数同时使用若三个参数同时配置则只有--op_precision_mode参数指定的模式生效。针对同一个算子如果通过--op_precision_mode参数配置了enable_hi_float_32_execution或enable_float_32_execution该场景下不建议再与--allow_hf32参数同时使用若同时使用则优先级如下op_precision_mode(ByNodeName按节点名称设置精度模式) allow_hf32 op_precision_mode(ByOpType按算子类型设置精度模式)关联参数示意图如图1所示。图 1关联参数示意图 设置具体算子精度模式场景下首先读取--op_precision_mode参数校验该参数的ini配置文件是否存在若存在则解析文件并读取算子的精度模式否则上报异常。--op_precision_mode不存在则读取--op_select_implmode参数首先检查是否配置为high_xxx_for_all参数若是则解析high_xxx_for_all.ini文件并读取算子的精度模式。若配置为high_xxx参数则检查是否配置--optypelist_for_implmode参数若是则读取该参数配置的算子精度模式否则解析high_xxx.ini文件并读取算子的精度模式。参数取值参数值设置算子精度模式的配置文件.ini格式路径以及文件名配置文件中支持设置如下精度模式high_precision表示高精度。high_performance表示高性能。enable_float_32_execution算子内部处理时使用FP32数据类型功能该场景下FP32数据类型不会自动转换为HF32数据类型若使用HF32计算精度损失超过预期时可启用该配置指定部分算子内部计算时使用FP32保持精度。该选项仅支持以下产品类型Ascend 950PR/Ascend 950DTAtlas A2 训练系列产品/Atlas A2 推理系列产品Atlas A3 训练系列产品/Atlas A3 推理系列产品enable_hi_float_32_execution算子内部处理时使用HF32数据类型功能启用此配置后FP32数据类型自动转换为HF32数据类型该机制可以降低数据所占空间大小实现性能提升。当前版本该选项暂不支持。support_out_of_bound_index表示对gather、scatter和segment类算子的indices输入进行越界校验校验会降低算子的执行性能。keep_fp16算子内部处理时使用FP16数据类型功能该场景下FP16数据类型不会自动转换为FP32数据类型若使用FP32计算时性能不满足预期同时精度要求不高情况下可以选择keep_fp16模式牺牲精度提升性能不建议使用该低精度模式。super_performance表示超高性能和高性能相比在算法计算公式上进行了优化。具体某个算子支持配置的精度/性能模式取值可以通过CANN软件安装后文件存储路径的opp/built-in/op_impl/ai_core/tbe/impl_mode/all_ops_impl_mode.ini文件查看。参数值格式路径和文件名支持大小写字母a-zA-Z、数字0-9、下划线_、短横线-、句点.、中文汉字。参数值约束当前仅支持通过.ini配置文件方式设置算子精度配置文件中的内容以key-value算子类型精度模式形式呈现每一行设置一个算子的精度模式。算子类型必须为基于Ascend IR定义的算子的OpType算子类型查看方法请参见如何确定原始框架网络模型中的算子与AI处理器支持的算子的对应关系。推荐配置及收益该参数不建议配置若使用高性能或者高精度模式网络性能或者精度不是最优则可以使用该参数通过配置ini文件调整具体某个算子的精度模式。通过该参数加载的ini配置文件建议使用--op_select_implmode参数用户另存后的ini配置文件详情请参见推荐配置及收益。示例构造算子精度模式配置文件_op_precision.ini_并在该文件中按照算子类型、节点名称设置精度模式每一行设置一个算子类型或节点名称的精度模式**按节点名称设置精度模式的优先级高于按算子类型**。配置样例如下[ByOpType] optype1high_precision optype2high_performance optype3enable_hi_float_32_execution optype4support_out_of_bound_index [ByNodeName] nodename1high_precision nodename2high_performance nodename3enable_hi_float_32_execution nodename4support_out_of_bound_index[ByOpType] optype1high_precision optype2high_performance optype4support_out_of_bound_index [ByNodeName] nodename1high_precision nodename2high_performance nodename4support_out_of_bound_index将配置好的_op_precision.ini_文件上传到ATC工具所在服务器任意目录例如上传到$HOME/conf使用示例如下atc --op_precision_mode$HOME/conf/op_precision.ini ...依赖约束无。【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 CANN/ge ATC算子精度模式参数文档
--op_precision_mode【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge产品支持情况全量芯片支持功能说明设置指定算子内部处理时的精度模式支持指定一个算子或多个算子。关联参数该参数不能与--op_select_implmode、--optypelist_for_implmode参数同时使用若三个参数同时配置则只有--op_precision_mode参数指定的模式生效。针对同一个算子如果通过--op_precision_mode参数配置了enable_hi_float_32_execution或enable_float_32_execution该场景下不建议再与--allow_hf32参数同时使用若同时使用则优先级如下op_precision_mode(ByNodeName按节点名称设置精度模式) allow_hf32 op_precision_mode(ByOpType按算子类型设置精度模式)关联参数示意图如图1所示。图 1关联参数示意图 设置具体算子精度模式场景下首先读取--op_precision_mode参数校验该参数的ini配置文件是否存在若存在则解析文件并读取算子的精度模式否则上报异常。--op_precision_mode不存在则读取--op_select_implmode参数首先检查是否配置为high_xxx_for_all参数若是则解析high_xxx_for_all.ini文件并读取算子的精度模式。若配置为high_xxx参数则检查是否配置--optypelist_for_implmode参数若是则读取该参数配置的算子精度模式否则解析high_xxx.ini文件并读取算子的精度模式。参数取值参数值设置算子精度模式的配置文件.ini格式路径以及文件名配置文件中支持设置如下精度模式high_precision表示高精度。high_performance表示高性能。enable_float_32_execution算子内部处理时使用FP32数据类型功能该场景下FP32数据类型不会自动转换为HF32数据类型若使用HF32计算精度损失超过预期时可启用该配置指定部分算子内部计算时使用FP32保持精度。该选项仅支持以下产品类型Ascend 950PR/Ascend 950DTAtlas A2 训练系列产品/Atlas A2 推理系列产品Atlas A3 训练系列产品/Atlas A3 推理系列产品enable_hi_float_32_execution算子内部处理时使用HF32数据类型功能启用此配置后FP32数据类型自动转换为HF32数据类型该机制可以降低数据所占空间大小实现性能提升。当前版本该选项暂不支持。support_out_of_bound_index表示对gather、scatter和segment类算子的indices输入进行越界校验校验会降低算子的执行性能。keep_fp16算子内部处理时使用FP16数据类型功能该场景下FP16数据类型不会自动转换为FP32数据类型若使用FP32计算时性能不满足预期同时精度要求不高情况下可以选择keep_fp16模式牺牲精度提升性能不建议使用该低精度模式。super_performance表示超高性能和高性能相比在算法计算公式上进行了优化。具体某个算子支持配置的精度/性能模式取值可以通过CANN软件安装后文件存储路径的opp/built-in/op_impl/ai_core/tbe/impl_mode/all_ops_impl_mode.ini文件查看。参数值格式路径和文件名支持大小写字母a-zA-Z、数字0-9、下划线_、短横线-、句点.、中文汉字。参数值约束当前仅支持通过.ini配置文件方式设置算子精度配置文件中的内容以key-value算子类型精度模式形式呈现每一行设置一个算子的精度模式。算子类型必须为基于Ascend IR定义的算子的OpType算子类型查看方法请参见如何确定原始框架网络模型中的算子与AI处理器支持的算子的对应关系。推荐配置及收益该参数不建议配置若使用高性能或者高精度模式网络性能或者精度不是最优则可以使用该参数通过配置ini文件调整具体某个算子的精度模式。通过该参数加载的ini配置文件建议使用--op_select_implmode参数用户另存后的ini配置文件详情请参见推荐配置及收益。示例构造算子精度模式配置文件_op_precision.ini_并在该文件中按照算子类型、节点名称设置精度模式每一行设置一个算子类型或节点名称的精度模式**按节点名称设置精度模式的优先级高于按算子类型**。配置样例如下[ByOpType] optype1high_precision optype2high_performance optype3enable_hi_float_32_execution optype4support_out_of_bound_index [ByNodeName] nodename1high_precision nodename2high_performance nodename3enable_hi_float_32_execution nodename4support_out_of_bound_index[ByOpType] optype1high_precision optype2high_performance optype4support_out_of_bound_index [ByNodeName] nodename1high_precision nodename2high_performance nodename4support_out_of_bound_index将配置好的_op_precision.ini_文件上传到ATC工具所在服务器任意目录例如上传到$HOME/conf使用示例如下atc --op_precision_mode$HOME/conf/op_precision.ini ...依赖约束无。【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考