onnxruntime-gpu版相关说明

  • 目前已知在onnxruntime-gpu上测试过的小伙伴，反映都是GPU推理速度比在CPU上慢很多。关于该问题，已经提了相关issue，具体可参见onnxruntime issue#13198

有关onnxruntime-gpu推理慢的相关帖子

快速查看比较版本

  • 国外小伙伴可以基于Google Colab，国内的小伙伴可以基于百度的AI Studio来查看效果

结论

onnxruntime-gpu版在动态输入情况下，推理速度要比CPU慢很多。而OCR任务就是动态输入，因此不推荐使用onnxruntime-gpu版推理。

目前一直在找寻GPU端，可以快速推理ONNX模型的推理引擎。

相关对比表格

设备 onnxruntime-gpu CPU总耗时(s) CPU平均耗时(s/img) GPU总耗时(s) GPU平均耗时(s/img)
设备1 1.11.0 296.8841 1.18282 646.14667 2.57429
设备2 1.12.1 149.35427 0.50504 250.81760 0.99927

设备1: 宏碁(Acer) 暗影骑士·威N50-N93游戏台式机 | Windows | 十代i5-10400F 16G 512G SSD | NVIDIA GeForce GTX 1660Super 6G

设备2: Linux | AMD R9 5950X | NVIDIA GeForce RTX 3090

Edit this page

Last updated 24 Apr 2024, 09:34 +0800 . history