关于Itertaion的次数

[ShuaiLyu0110]

您好，我有个问题想问您。关于Itertaion的次数，我看代码里默认设置为1000次，请问这是您实验设置的参数吗？请问DeepSeek-R1模型在MATH数据集上您跑了多少时间，用了几张卡呢？

[gyr66]

感谢您关注我们的工作！我们follow VinePPO的配置，设置了iteration次数为1000，这样可以更全面的看到训练动态。我们使用MATH数据集训练DeepSeek-R1-Distill-Qwen-1.5B，使用了一张A100 80G训练，训练时间可以看论文中的图6(a)，完整的训练过程可以看wandb训练日志。

[ShuaiLyu0110]

感谢您关注我们的工作！我们follow VinePPO的配置，设置了iteration次数为1000，这样可以更全面的看到训练动态。我们使用MATH数据集训练DeepSeek-R1-Distill-Qwen-1.5B，使用了一张A100 80G训练，训练时间可以看论文中的图6(a)，完整的训练过程可以看wandb训练日志。

感谢回复 另外就是我发现在训练时候 进程会再次启动一个vllm_server也就是前一次的policy model来生成tree episode~ 这样的话 应该至少两张A100吧好像

[gyr66]

可以使用一张A100完成，两部分是交替进行的，启动vllm server进程完成推理后会删除这个server进程，然后再进行训练

[ShuaiLyu0110]

感谢您关注我们的工作！我们follow VinePPO的配置，设置了iteration次数为1000，这样可以更全面的看到训练动态。我们使用MATH数据集训练DeepSeek-R1-Distill-Qwen-1.5B，使用了一张A100 80G训练，训练时间可以看论文中的图6(a)，完整的训练过程可以看wandb训练日志。

详细运行情况在这里

[gyr66]

可以减小配置中的per_device_batch_size

[ShuaiLyu0110]

这个明白 就是对实验结果应该影响不大吧…

…

----------回复的邮件信息---------- gyr66 ***@***.***> 在 2025年6月22日 13:16写道： gyr66 left a comment (AIFrameResearch/SPO#1) 可以减小配置中的per_device_batch_size — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***>

[gyr66]

应该没影响，只是影响训练速度

[ShuaiLyu0110]

还有个问题 就是目前是否支持多卡训练呢？我看代码里写了并发的一些内容

[gyr66]

支持的

[ShuaiLyu0110]

只用设置gpu可见数量 就可以吧？

…

----------回复的邮件信息---------- gyr66 ***@***.***> 在 2025年7月7日 23:30写道： gyr66 left a comment (AIFrameResearch/SPO#1) 支持的 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***>

[gyr66]

WANDB_PROJECT=spo-gsm8k APP_EXPERIMENT_NAME=rho1.1b-spo-chain-int5 APP_DIRECTORY=SPO-experiments APP_MINIMIZE_STORED_FILES=True deepspeed --master_port $MASTER_PORT --include localhost:0,1,2,3 src/treetune/main.py --configs "configs/polIter_rho1bSft2_spo_chain_GSM8K.jsonnet,configs/episode_generators/interval5.jsonnet,configs/gpus/gpu_0.jsonnet" run_iteration_loop
在--include后面设置

[ShuaiLyu0110]

您好 请问两张40G是不是没法训练呀~ 我复现了代码 好像只能用80G的显卡吧

[gyr66]

DeepSeekMath 7B需要用80G的显卡，R1蒸馏的模型上下文长度设置的比较长，也需要用80G的显卡。短思维链场景RhoMath 1.1B可以使用1张40G显卡训练。

[ShuaiLyu0110]

可以支持deepspeed zero_3之类的配置吗？我看config里有zero_2的配置

[gyr66]

可能可以，可以试试。我们最近将SPO集成进verl里面了，后面打算开放那个仓库，那个支持更多的feature。