ONNXRuntime GPU推理
onnxruntime-gpu版相关说明¶
- 目前已知在onnxruntime-gpu上测试过的小伙伴，反映都是GPU推理速度比在CPU上慢很多。关于该问题，已经提了相关issue，具体可参见onnxruntime issue#13198
有关onnxruntime-gpu推理慢的相关帖子¶
快速查看比较版本¶
- 国外小伙伴可以基于Google Colab，国内的小伙伴可以基于百度的AI Studio来查看效果
结论¶
onnxruntime-gpu版在动态输入情况下，推理速度要比CPU慢很多。而OCR任务就是动态输入，因此不推荐使用onnxruntime-gpu版推理。
目前一直在找寻GPU端，可以快速推理ONNX模型的推理引擎。
相关对比表格¶
| 设备 | onnxruntime-gpu | CPU总耗时(s) | CPU平均耗时(s/img) | GPU总耗时(s) | GPU平均耗时(s/img) |
|---|---|---|---|---|---|
| 设备11 | 1.11.0 | 296.8841 | 1.18282 | 646.14667 | 2.57429 |
| 设备22 | 1.12.1 | 149.35427 | 0.50504 | 250.81760 | 0.99927 |