mix-chord训练步数计算

[Alital]

请问一下在chord的训练时，具体训练步数是如何计算的？

[pan-x-c]

与常规的 RL 的训练步数并没有太大差异，每个 step 都会完成指定数量的任务并产生可训练的数据用于训练，具体来说：
CHORD 在每个 step 中会完成 buffer.batch_size 个 RL 任务。但由于 CHORD 还需要额外读取一部分专家数据用于 SFT，因此配置文件中的 buffer.train_batch_size 是包含了 RL 任务 Rollout 产生的所有数据加上用于 SFT 专家数据的总大小。

[Alital]

非常感谢您的回复，在训练时关于batch,epoch,step的具体配置详见如下，其中math_medium_rl_data共2k条，math_medium_sft_data共465条数据，最后训练停止在50步，最终日志显示No more samples to train. Stopping training. 训练步数理论应该是 rl的data_numepoch/train_batch_size=200040/128=625，但这里在50步提前结束是因为sft数据不够采样吗？请问一下这种情况关于训练步数是如何计算的？
algorithm:
algorithm_type: mix_chord
repeat_times: 16 # or 16 for better performance in math related tasks
optimizer:
lr: 5e-6 # or 5e-6, larger lr with warm up can result in better performance for SFT training.
kl_loss_fn_args:
kl_coef: 0.0
entropy_loss_fn: mix
sample_strategy_args:
expert_data_ratio: 0.20
policy_loss_fn_args: # feel free to change, we encourage you to try out different hyperparameters
mu_warmup_steps: 200 # 0 for chord-mu and chord-phi
mu_decay_steps: 400 # 200 for chord-mu and 0 for chord-phi
mu_peak: 0.5 # 0.9 for chord-mu and 0.1 for chord-phi
mu_valley: 0.02 # 0.05 for chord-mu and 0.1 for chord-phi
enable_phi_function: true # false for chord-mu and true for chord-phi
clip_range: 0.2
sft_loss_agg_mode: "token-mean"
use_dynamic_bsz: false
ppo_mini_batch_size: 2176 # 320 = 256 + 64; if you set repeat times = 16, then it shoudle be 32 * 16 + 64
ppo_micro_batch_size_per_gpu: 4
ngpus_trainer: 4
train_batch_size_expert: 128
train_batch_size_usual: 2048 # 32 batchsize * 8 repeat times
cluster:
node_num: 8
gpu_per_node: 8
buffer:
total_epochs: 40
batch_size: 128
train_batch_size: 2048
explorer_input:
taskset:
name: math_medium_subset
storage_type: file
path: ${oc.env:TRINITY_TASKSET_PATH,math_medium_rl_data}
format:
prompt_key: 'problem'
response_key: 'answer'
rollout_args:
temperature: 1.0
logprobs: 0
workflow_args:
with_think: true
eval_tasksets: [] # you can add your own eval tasksets here
default_workflow_type: 'math_boxed_workflow'
trainer_input:
experience_buffer:
name: math_buffer
storage_type: queue
path: math_buffer.json
auxiliary_buffers:
sft_dataset:
total_epochs: 20
name: SFT_data
storage_type: file
schema_type: sft
path: ${oc.env:TRINITY_TASKSET_PATH, math_medium_sft_data}
split: 'train'
format:
prompt_type: messages
messages_key: 'messages'
explorer:
eval_interval: 10
runner_per_model: 8
rollout_model:
engine_num: 32
tensor_parallel_size: 1
enable_prefix_caching: false
enforce_eager: true
dtype: bfloat16
seed: 42
synchronizer:
sync_method: 'nccl'
sync_interval: 1
sync_timeout: 1200
trainer:
save_interval: 20
grad_clip: 1.0
use_dynamic_bsz: false
max_token_len_per_gpu: 25600
ulysses_sequence_parallel_size: 2

[pan-x-c]

可以参考这个问题 #319

由于上述配置文件中 train_batch_size 设置为了 2048，且 expert_data_ratio 为 0.2。所以每个 step 都会读取 2048 * 0.2 ≈ 409 条 SFT 数据，而 SFT 数据集总大小为 465，理论上应该只能跑 20 步左右就会停止，不过跟描述的现象有点出入

[garyzhang99]

expert_data_ratio: 0.20 修改为 expert_data_ratio: 0.05882（128/2176）

train_batch_size: 2048 修改为 train_batch_size: 2176

以及因为SFT数据太少了，那如果想训到600step, 你得把下面sft dataset的total_epochs调一个非常大的数字。

sft_dataset:
    total_epochs: 20

[Alital]

非常感谢两位大佬详细的回复，已了解相关逻辑。