你好，非常感谢项目开源。最近发现使用下载后的模型推理失败。 背景：因为服务器无法联网，同时huggingface提供过多的模型，所以我下载个别的模型并上传到模型目录下，在使用FP8量化模型Inference过程中，我将'MODEL_PATH'设置为模型的本地目录，发现推理失败。 请问上面这个是什么原因？具体如何才能正确加载本地模型进行推理呢？
你好，非常感谢项目开源。最近发现使用下载后的模型推理失败。
背景：因为服务器无法联网，同时huggingface提供过多的模型，所以我下载个别的模型并上传到模型目录下，在使用FP8量化模型Inference过程中，我将'MODEL_PATH'设置为模型的本地目录，发现推理失败。
请问上面这个是什么原因？具体如何才能正确加载本地模型进行推理呢？