关于transformer下的模型推理速度

[WZK040104]

我在本地使用transformer + 6GB显存，跑一张中等复杂度的图片会很慢（近1min）。
我想知道是否有人尝试过 transformer + 足够显存（预计10+GB），这样推理速度会提升吗？对于代码、PDF、excel等日常场景的图片速度能否达到秒级？

[WZK040104]

或者说，是显存小的问题导致transformer跑得慢吗？还是transformer架构本身的原因导致的？

[qimlisky]

反正混元8+4gb显存跑不了600万的图片。1080p的够用。感觉还是先用ppocrv5。不过用transformer的安装是真的方便。之前弄ppocr死活找不到安装文档。