ONNXRuntime GPU推理
onnxruntime-gpu版相关说明¶
- 目前已知在onnxruntime-gpu上测试过的小伙伴，反映都是GPU推理速度比在CPU上慢很多。关于该问题，已经提了相关issue，具体可参见onnxruntime issue#13198
有关onnxruntime-gpu推理慢的相关帖子¶
快速查看比较版本¶
- 国外小伙伴可以基于Google Colab，国内的小伙伴可以基于百度的AI Studio来查看效果
结论¶
onnxruntime-gpu版在动态输入情况下，推理速度要比CPU慢很多。而OCR任务就是动态输入，因此不推荐使用onnxruntime-gpu版推理。
目前一直在找寻GPU端，可以快速推理ONNX模型的推理引擎。