L20机器上报显存不够错误。

[l878619717]

src/hijack_call.c:575 CUDA_ERROR_OUT_OF_MEMORY: Total real used gpu memory 30645682176 already exit
Segmentation fault

[l878619717]

L20 有27GB显存大小

[zenosai]

您好，可以运行python tools/lmdeploy_patcher.py patch之后再尝试一下吗

[l878619717]

您好，可以运行python tools/lmdeploy_patcher.py patch之后再尝试一下吗

还是一样报错，src/hijack_call.c:575 CUDA_ERROR_OUT_OF_MEMORY: Total real used gpu memory 30576476160 already exceed limit 28923920384, exit

[zenosai]

那请你将这一行

MonkeyOCR/magic_pdf/model/custom_model.py

Line 140 in 0dfae57

engine_config = PytorchEngineConfig(session_len=10240)

增加一个参数cache_max_entry_count，可以设置0.7以及更小的值：

engine_config = PytorchEngineConfig(session_len=10240,cache_max_entry_count=0.7) #或者设置更小

以减少显存利用

[l878619717]

那请你将这一行

MonkeyOCR/magic_pdf/model/custom_model.py

Line 140 in 0dfae57

engine_config = PytorchEngineConfig(session_len=10240)

增加一个参数cache_max_entry_count，可以设置0.7以及更小的值：

engine_config = PytorchEngineConfig(session_len=10240,cache_max_entry_count=0.7) #或者设置更小

以减少显存利用

可以了，谢谢，建议这个参数更新下，大部分人没有高端显卡

[zenosai]

感谢您的建议，但是一般不管用什么显卡，显存的计算都是自动完成的，会自动利用剩余显存的80%。您的情况属于特殊情况，我们在3090上运行也不会有这个问题。