地瓜官网
地瓜开发者社区
地瓜官网
地瓜开发者社区
中文

配置信息

环境变量

HB_NN_LOG_LEVEL // 设置NN模块日志等级，值为0、1、2、3、4、5、6，分别对应Trace、Debug、Info、Warning、Error、Critical、Never，默认为Warning。 HB_NN_HBIR_GPU_ENABLE // 设置NN模块是否使用GPU加速，true为使用。 HB_NN_ENABLE_MEM_LRU_CACHE // 设置NN模块是否使用内存LRU缓存，true为使用，默认不使用。 HB_NN_MEM_LRU_CACHE_CLEAN_INTERVAL // 设置NN模块清理LRU缓存的时间间隔，单位为毫秒，默认为1000ms。

日志等级设置说明

  • 日志等级：

    NN 模块中的日志主要分为7个等级：

    log等级可设置为0、1、2、3、4、5、6，分别对应Trace、Debug、Info、Warning、Error、Critical、Never，默认为Warning。

  • 日志等级设置规则：

    • 若发生的log等级 >= 设置的等级，则该log可以被打印，反之被屏蔽。
    • 设置的log等级越小，打印信息越多。例如：设置log等级为3，即为Warning级别，则3、4、5等级的log均可以被打印。NN 模块默认log等级为Warning级别，即以下log级别的信息可以被打印：Warning、Error、Critical。

HBIR模型推理说明

DNN支持X86环境下推理HBIR模型，由于您的环境中可能不存在GPU，因此默认不使用GPU加速。

若您的机器上存在GPU，可以通过设置环境变量 HB_NN_HBIR_GPU_ENABLE 为 true 来使用GPU加速。

注解

  • 使用GPU加速时，应确保您的机器上已安装了相应的GPU驱动和CUDA环境，环境要求请参考环境部署。

  • 使用GPU加速时，应确保 libhbdnn.so 在 LD_LIBRARY_PATH 所设置的目录下。

  • 使用GPU加速时，可以设置控制参数中的 deviceId 来指定GPU进行计算，应确保设置的值在 [0, gpu_dvice_count) 范围内。

内存LRU缓存说明

BPU内存在BPU实际使用前，NN模块内部需要对该块内存进行特殊处理才能够正常使用，对内存的频繁处理会导致CPU负载变大，从而可能会引发性能问题。

为了解决这个问题，推理库提供了内存LRU缓存功能，通过设置环境变量 HB_NN_ENABLE_MEM_LRU_CACHE 为 true 来使用。设置方式如下：

export HB_NN_ENABLE_MEM_LRU_CACHE=true
注解

  • NN模块内部基于LRU（最近最少使用原理）对输入输出内存进行管理，因此使用缓存功能时，您申请的内存在调用释放接口后，不会立即释放，直到缓存被清理后才会实际释放内存。可以通过设置 HB_NN_MEM_LRU_CACHE_CLEAN_INTERVAL 环境变量来控制缓存清理的时间间隔。

  • 场景约束：您申请的内存在反复使用的情况才有收益。

  • 该缓存功能只适用于NN模块。

L2M模型推理支持说明

UCP侧L2 Cache采用静态映射方案，需要您使用环境变量 HB_DNN_USER_DEFINED_L2M_SIZES 配置分配给每个BPU核心的L2 Cache大小。每个核的Size间使用 : 分割，单位为 MB ，Size值仅支持整数。 UCP会在推理准备阶段按照您的配置分配所有核心的L2 Cache。如下是几种配置示例及说明：

export HB_DNN_USER_DEFINED_L2M_SIZES=6:6:6:6 # 4个核心，每个核心分配6MB export HB_DNN_USER_DEFINED_L2M_SIZES=0:6:0:0 # 4个核心，核1分配6MB，其他核不分配 export HB_DNN_USER_DEFINED_L2M_SIZES=12:0:0:12 # 4个核心，核0分配12MB，核3分配12MB，其他核不分配
注意

  1. 启用L2 Cache优化时，不支持推理优先级设置为抢占。

  2. 多进程环境下，不同进程间L2 Cache相互独立，故需要保证各进程配置的L2 Cache总和不能超过硬件最大L2 Cache大小。

  3. 最大L2 Cache大小可以通过命令 cat /sys/kernel/debug/ion/heaps/custom 进行查看。