ONNXRuntime GPU推理
onnxruntime-gpu版相关说明¶
- 目前已知在onnxruntime-gpu上测试过的小伙伴,反映都是GPU推理速度比在CPU上慢很多。关于该问题,已经提了相关issue,具体可参见onnxruntime issue#13198
有关onnxruntime-gpu
推理慢的相关帖子¶
快速查看比较版本¶
- 国外小伙伴可以基于Google Colab,国内的小伙伴可以基于百度的AI Studio来查看效果
结论¶
onnxruntime-gpu版在动态输入情况下,推理速度要比CPU慢很多。而OCR任务就是动态输入,因此不推荐使用onnxruntime-gpu版推理。
目前一直在找寻GPU端,可以快速推理ONNX模型的推理引擎。