hb_compile工具
hb_compile工具是地平线提供的将浮点模型映射为量化模型并附带验证功能以及模型修改功能的工具,覆盖了模型后量化训练全流程。
基于浮点模型、yaml配置文件(可选)和校准数据(可选)完成模型的优化、校准、量化、算子修改及编译,最终生成上板 *.hbm 模型。
hb_compile工具转换过程及各阶段产出物,如下图所示:
支持范围
- 支持浮点模型的验证、量化编译。
- 支持对HBIR模型的修改及编译。
使用场景
工具支持三种使用场景:模型验证、模型量化编译、模型修改及HBIR模型编译。
- 模型验证:根据提供的浮点模型(caffe/onnx)及模型信息,返回模型检查结果及报错信息。
- 模型量化编译:根据提供的浮点模型(caffe/onnx)及yaml配置文件(可选),对模型进行量化编译,生成中间阶段onnx模型以及可用于上板部署的hbm模型。
- 模型修改及HBIR模型编译:支持对HBIR模型进行移除节点,以及对HBIR模型进行编译等操作。