常见算法模型示例
位置路径
常见算法模型示例位于 horizon_model_convert_sample 路径的: 03_classification/、 04_detection/ 和 07_segmentation/ 文件夹中。
准备数据集
数据集下载地址
数据集的下载地址可参考下表:
数据集参考结构
为方便您进行后续步骤,在数据集下载完成后,您需要按照如下地平线建议的结构对评测数据集进行处理。
| 数据集 | 说明 |
| ImageNet数据集 | 我们建议您将下载的数据集解压成如下结构,数据准备过程中如遇问题请联系地平线。
imagenet/
├── calibration_data
│ ├── ILSVRC2012_val_00000001.JPEG
│ ├── ...
│ └── ILSVRC2012_val_00000100.JPEG
├── ILSVRC2017_val.txt
├── val
│ ├── ILSVRC2012_val_00000001.JPEG
│ ├── ...
│ └── ILSVRC2012_val_00050000.JPEG
└── val.txt
|
| COCO数据集 | 我们建议您将下载的数据集解压成如下结构,数据准备过程中如遇问题请联系地平线。
coco/
├── calibration_data
│ ├── COCO_val2014_000000181007.jpg
│ ├── ...
│ └── COCO_val2014_000000181739.jpg
└── coco_val2017
├── annotations
│ ├── instances_train2017.json
│ └── instances_val2017.json
└── images
├── 000000000139.jpg
├── 000000000285.jpg
├── ...
├── 000000581615.jpg
└── 000000581781.jpg
|
| VOC数据集 | 请注意:
请您注意,VOC2012目录下目前存储了VOC2007和VOC2012两份数据集,请您按照如下目录结构对评测数据集进行处理。 数据准备过程中如遇问题请联系地平线。
VOCdevkit/
└── VOC2012
├── Annotations
│ ├── 2007_000027.xml
│ ├── ...
│ └── 2012_004331.xml
├── ImageSets
│ ├── Action
│ │ ├── jumping_train.txt
│ │ ├── jumping_trainval.txt
│ │ ├── jumping_val.txt
│ │ ├── ...
│ │ ├── val.txt
│ │ ├── walking_train.txt
│ │ ├── walking_trainval.txt
│ │ └── walking_val.txt
│ ├── Layout
│ │ ├── train.txt
│ │ ├── trainval.txt
│ │ └── val.txt
│ ├── Main
│ │ ├── aeroplane_train.txt
│ │ ├── aeroplane_trainval.txt
│ │ ├── aeroplane_val.txt
│ │ ├── ...
│ │ ├── train.txt
│ │ ├── train_val.txt
│ │ ├── trainval.txt
│ │ ├── tvmonitor_train.txt
│ │ ├── tvmonitor_trainval.txt
│ │ ├── tvmonitor_val.txt
│ │ └── val.txt
│ └── Segmentation
│ ├── train.txt
│ ├── trainval.txt
│ └── val.txt
├── JPEGImages
│ ├── 2007_000027.jpg
│ ├── ...
│ └── 2012_004331.jpg
├── SegmentationClass
│ ├── 2007_000032.png
│ ├── ...
│ └── 2011_003271.png
├── SegmentationObject
│ ├── 2007_000032.png
│ ├── ...
│ └── 2011_003271.png
└── train.txt
|
| Cityscapes数据集 | 我们建议您将下载的数据集解压成如下结构,数据准备过程中如遇问题请联系地平线。
cityscapes/
├── cityscapes_calibration_data
│ ├── aachen_000000_000019_leftImg8bit.png
│ ├── ...
│ └── aachen_000099_000019_leftImg8bit.png
├── gtFine
│ ├── test
│ │ ├── berlin
│ │ ├── ...
│ │ └── munich
│ ├── train
│ │ ├── aachen
│ │ ├── ...
│ │ └── zurich
│ └── val
│ ├── frankfurt
│ ├── lindau
│ └── munster
├── leftImg8bit
│ ├── test
│ │ ├── berlin
│ │ ├── ...
│ │ └── munich
│ ├── train
│ │ ├── aachen
│ │ ├── ...
│ │ └── zurich
│ └── val
│ ├── frankfurt
│ ├── lindau
│ └── munster
├── license.txt
└── README
|
准备模型
在使用模型转换示例包时,请您先准备好对应的浮点模型。
注解
OE包默认不携带示例对应的校准数据集和原始模型,您需要在对应的示例文件夹内执行 00_init.sh 获取当前示例所需的模型和校准数据集。
算法模型示例的使用演示
本小节以 Resnet50 模型为例,使用算法模型示例包中 03_classification/03_resnet50/ 路径下脚本分步骤演示浮点模型到定点模型转换的过程。
进入Docker容器
首先,根据 Docker容器部署 一节内容完成Docker环境的安装和配置并进入docker容器。
下载原始模型及校准数据集
在 03_classification/03_resnet50/ 文件夹内执行 00_init.sh 获取当前示例所需的模型和校准数据集。
# 1. 进入示例脚本放置的文件夹
cd samples/ai_toolchain/horizon_model_convert_sample/03_classification/03_resnet50/
# 2. 执行脚本下载原始模型及校准数据集
sh 00_init.sh
验证模型是否能够执行
如下所示,运行脚本:
准备校准用的数据集
在同一路径下继续执行 02_preprocess.sh 脚本,如下所示:
# 将 01_common/calibration_data/imagenet 中的图片
# 转换到: ./calibration_data_rgb
sh 02_preprocess.sh
build模型
在同一路径下继续执行 03_build.sh 脚本,如下所示:
注解
上述脚本使用 hb_compile 工具转换模型,最需要关注的是转换的配置文件,请参考 模型量化编译 章节。
上述脚本的输出如下所示:
ls model_output | cat
resnet50_224x224_nv12.hbm
resnet50_224x224_nv12_calibrated_model.onnx
resnet50_224x224_nv12_ptq_model.onnx
resnet50_224x224_nv12_optimized_float_model.onnx
resnet50_224x224_nv12_original_float_model.onnx
resnet50_224x224_nv12_quantized_model.bc
resnet50_224x224_nv12.html
resnet50_224x224_nv12.json
resnet50_224x224_nv12_quant_info.json
resnet50_224x224_nv12_advice.json
resnet50_224x224_nv12_node_info.csv
hb_compile.log
注解
您暂时只需要关心 resnet50_224x224_nv12.hbm 文件。
单张图片推理
执行 04_inference.sh 脚本进行单张图片的推理过程,如下所示:
精度测试
继续执行 05_evaluate.sh 脚本进行精度评测,如下所示:
export PARALLEL_PROCESS_NUM=${parallel_process_num}
sh 05_evaluate.sh
常见问题
复现的精度为什么与文档中提供的指标有细微差异?
出现此种现象的原因可能有以下两点:
-
在不同的服务器环境下,计算方式上可能会有细小的区别,就会导致不同的服务器环境中编译出来的定点onnx模型的精度与文档的记录值有细微数据波动。
-
使用的第三方库如opencv、numpy等库的版本不同,导致图片经过前处理后的得到的结果不同,这种情况也会导致精度复现时与文档中的记录值有细微数据波动。
出现这种情况,您可以不用过于担心,文档中提供的记录指标仅作为参考,您在复现时的精度与文档中的记录值有细微差异是正常现象,可以正常跑通精度即可。
定点模型精度为何与ai_benchmark示例中的hbm文件上板精度无法对齐?
在标准交付中,我们在添加示例的时候,定点模型精度和ai_benchmark示例中的hbm文件上板精度是已经做了对齐处理的。
如果您发现定点模型精度与ai_benchmark示例中的hbm文件上板精度无法对齐的情况,建议您优先检查模型输入是否一致。
由于执行定点模型评估脚本时,使用到的是图片类型的数据集;而上板使用到的hbm模型,需要使用hb_eval_preprocess工具转换后的二进制数据集。
基于此点,如果您在上板时使用的数据集并非通过上述方式生成的,我们建议您先在运行定点模型的精度的相同服务器上,使用我们的数据预处理工具(即hb_eval_preprocess工具)重新生成上板需要的数据集,重跑上板精度,以保证模型输入一致。
注意
注意,在使用hb_eval_preprocess工具生成数据集和运行定点模型精度时,两者使用的环境需要保证一致。