Quantize export in Python

[yeliang2258]

支持Paddle量化模型导出

1. 如果你导出的ONNX模型用TensorRT进行部署，TensorRT可直接加载该模型做量化推理

paddle2onnx --model_dir quant_inference_model/ --model_filename model.pdmodel --params_filename model.pdiparams --save_file model.onnx --opset_version 13 --enable_onnx_checker True --deploy_backend TensorRT

2. 如果你导出的ONNX模型用ONNXRuntime进行部署,ONNXRuntime可直接加载该模型做量化推理

paddle2onnx --model_dir quant_inference_model/ --model_filename model.pdmodel --params_filename model.pdiparams --save_file model.onnx --opset_version 13 --enable_onnx_checker True --deploy_backend ONNXRuntime

3. 如果你导出的ONNX模型用其他推理引擎部署，将会导出float模型和量化表，量化表是内容：{tensor_name: scale_list, zero_list }

paddle2onnx --model_dir quant_inference_model/ --model_filename model.pdmodel --params_filename model.pdiparams --save_file model.onnx --opset_version 13 --enable_onnx_checker True --deploy_backend Others

[jiangjiajun]

为什么需要是op为conv/matmul，且下一个OP的名字中包含dequantize或quantize_dequantize，才为static。 直接判断模型中的OP是否存在dequantize或quantize_dequantize，会有什么问题