模型优化工具 opt

Paddle-Lite 提供了多种策略来自动优化原始的训练模型,其中包括量化、子图融合、混合调度、Kernel优选等等方法。为了使优化过程更加方便易用,我们提供了opt 工具来自动完成优化步骤,输出一个轻量的、最优的可执行模型。

具体使用方法介绍如下:

opt 安装和使用方法

  • 安装方法
    • 环境要求:windows\Mac\Ubuntu
    • 环境依赖:
      • python == 2.7\3.5\3.6\3.7
      • pip
# 当前最新版本是 2.9
pip install paddlelite==2.9

源码编译opt工具

您也可以选择从源代码编译opt工具,使用编译指令

./lite/tools/build.sh build_optimize_tool

如果在arm64架构的MacOS下编译opt工具失败,试着删除third-party目录并重新git checkout third-party,然后将上一条指令改为

arch -x86_64 ./lite/tools/build.sh build_optimize_tool

该命令会编译x86格式的opt工具,但是不会影响工具的正常使用

合并x2paddle和opt功能的一键脚本

背景:如果想用Paddle-Lite运行第三方来源(tensorflow、caffe、onnx)模型,一般需要经过两次转化。即使用x2paddle工具将第三方模型转化为PaddlePaddle格式,再使用opt将PaddlePaddle模型转化为Padde-Lite可支持格式。 为了简化这一过程,我们提供了:

合并x2paddle和opt的一键脚本