#精度调优实战

本章以实际使用过程中遇到的精度问题为例，介绍PTQ链路的精度调优流程，请确保先看完模型精度调优章节，了解相关的理论知识和工具用法。

典型的精度问题包括：

1. 全INT16量化精度达标，精度debug工具能够提供相对准确的敏感节点排序；
2. 全INT16量化精度达标，设置大量敏感节点为高精度无法有效提升量化精度；
3. 全INT16量化精度不达标，模型全BPU量化的前提下，进一步提高量化精度。

#敏感节点分析

精度Debug工具提供了节点量化敏感度的计算接口，能够计算各算子量化对输出结果的影响程度，将量化损失高的节点设置为高精度，完成精度调优。以HybridNets模型为例介绍该调优过程。

采用HMCT default INT8量化，校准算法选择percentile，校准精度未达标(det和ll_seg精度下降超1%)：

#全INT16精度

首先设置all_node_type为INT16，校准算法选择percentile，此时校准精度满足要求，可以使用INT8+INT16混合精度完成调优：

#混合精度调试

基于全INT16选择的percentile校准算法编译INT8校准模型，yaml文件中配置debug_mode为 "dump_calibration_data" 来保存校准数据，通过get_sensitivity_of_nodes输出节点量化敏感度：

按照余弦相似度排序从前往后的顺序，逐步设置算子INT16量化，校准模型精度也会随着增加，直到满足需求：

由上述测试表格可得，将敏感度阈值小于等于0.99994的敏感节点设为INT16节点，校准精度满足需求：

完整的精度调优部署示例见：HybridNets精度调优部署示例。

#敏感节点失效

当使用精度Debug工具设置敏感节点为高精度无法有效提升模型精度时，可先尝试指定输出节点，过滤掉不相关的节点，此外观察模型输出误差选择其他评估指标，提高敏感度排序和精度的相关性，更进一步通过分析模型结构，将量化损失风险较大的典型子结构(模型输出、输入以及具有特定物理意义的结构等)设为高精度，完成精度调优。以YoloP模型为例介绍该调优过程。

采用HMCT default INT8量化，校准算法选择percentile，校准精度未达标(det精度下降超1%)：

#全INT16精度

首先设置all_node_type为INT16，校准算法选择percentile，此时校准精度满足要求，可以使用INT8+INT16混合精度完成调优：

#混合精度调试

基于全INT16选择的percentile校准算法编译INT8校准模型，yaml文件中配置debug_mode为"dump_calibration_data"来保存校准数据，通过get_sensitivity_of_nodes输出节点量化敏感度：

按照余弦相似度排序从前往后顺序，逐步设置算子INT16量化，然而即使将大量敏感节点设为INT16，精度也未能达标：

观察INT8校准模型的精度结果，只有det分支的精度未达到99%，通过get_sensitivity_of_nodes接口计算节点量化敏感度时，可以通过-o选项指定det输出对应的节点，仅计算影响det输出的敏感度排序，提高精度问题定位准确度：

按照余弦相似度排序从前往后顺序，设置算子INT16量化，仅关注det输出能过滤掉无用节点，但最终精度仍未达标：

观察INT8校准模型的输出相似度，其中det分支的L1和L2距离同浮点偏差很大，尝试将余弦相似度替换为其他指标：

通过get_sensitivity_of_nodes接口计算节点敏感度时，可以指定mse作为评估指标，提高不同节点之间的区分度：

按照mse相似度排序从前往后顺序，设置算子高精度，最终在增加大量INT16节点后精度才能够达标：

#分析子图结构

即使是基于mse指标只关注det输出的提升，设置大量敏感节点高精度仍无法有效提升精度，更进一步考虑到当前仅det任务不达标，推断da_seg分支、ll_seg分支以及公共的backbone部分存在敏感节点的可能性较小，关注det分支的精度调优，结合模型结构分析，尝试指定det输出位置子图采用高精度量化，测试精度：

完整的精度调优部署示例见：YoloP精度调优部署示例。

#量化损失补偿

受硬件约束及推理耗时的影响，设置全INT16量化时，模型中仍会存在INT8量化节点，包括：Conv和ConvTranspose权重、Resize、GridSample以及MatMul的第2个输入，PTQ通过引入一个相同算子，能够补偿INT8量化导致的精度损失，进一步提高模型全BPU量化精度，完成精度调优。以Lane模型为例介绍该调优过程。

采用HMCT default INT8量化，校准算法选择max_asy_perchannel，校准精度未达标(所有输出平均相似度均低于0.99)：

#全INT16精度

首先设置all_node_type为INT16，校准算法选择max，此时校准精度仍不满足要求(occlusion和box_arrow输出平均相似度未达0.99)，需要进一步提升精度：

#INT16上限精度

由于设置all_node_type为INT16后，模型中仍会存在INT8量化节点，可以通过HMCT提供的IR接口将校准模型中所有校准节点数据类型修改为INT16，得到真INT16模型：

验证真INT16校准模型在所有输出上的平均相似度，均能够满足要求，该模型可以通过补偿误差来完成调优。

#补偿量化损失

补偿误差的分析过程需要基于全INT16校准模型，通过get_sensitivity_of_nodes输出节点量化敏感度：

接着按照节点敏感度排序修改校准模型，将量化精度从INT8提升至INT16，直到occlusion和box_arrow满足精度需求：

由上方表格可知，将Conv_360, Conv_3, Conv_338权重量化精度从INT8提高至INT16，所有输出相似度能够达标。在HMCT全BPU部署时，具体做法是引入一个相同算子来补偿INT8量化导致的精度损失，将精度提升到接近INT16：

#混合精度调试

补偿Conv_360, Conv_3, Conv_338权重量化损失后，全INT16校准模型精度能够达标，尝试基于误差补偿后的INT8校准模型开始调优，INT8校准模型精度如下：

通过get_sensitivity_of_nodes输出节点量化敏感度：

按照余弦相似度排序从前往后的顺序，逐步设置算子INT16量化，校准模型相似度也会随之增加：

经上述测试表格调优，将敏感度阈值小于等于0.9995的敏感节点设为INT16，除cls_arrow和box_arrow外，其余输出平均相似度均不低于0.99。cls_arrow和box_arrow共用同一个分支，尝试基于0.9995敏感节点设置INT16的校准模型，配置arrow的输出head子图为INT16，量化配置及输出相似度：

仅box_arrow输出平均相似度未达标，单独指定box_arrow输出重新获取敏感度排序：

按照余弦相似度排序从前往后的顺序，逐步设置算子INT16量化，直到box_arrow输出相似度满足要求：

最终通过设置部分敏感节点INT16，模型所有输出的平均相似度均满足要求，量化配置及输出相似度如下：

完整的精度调优部署示例见：Lane精度调优部署示例。

#精度调优技巧

PTQ链路的调优流程需不断修改节点的高精度配置，编译生成模型，进行精度验证，但完整的编译链路耗时长，调试成本高。基于此，我们提供了IR接口支持您直接对calibrated_model.onnx模型的量化参数进行修改，从而快速验证。