你好，我在使用deepspeed跑全量微调的时候，刚好内存够用，但是期间有其他用户使用GPU后，deepspeed会因为显存不够而终止运行导致训练失败。如何能在检测到显存不够时将模型保存下来再退出，以便后续继续训练？
你好，我在使用deepspeed跑全量微调的时候，刚好内存够用，但是期间有其他用户使用GPU后，deepspeed会因为显存不够而终止运行导致训练失败。如何能在检测到显存不够时将模型保存下来再退出，以便后续继续训练？