使用配置文件时，如何正确设置推理参数？

[qing-yuan233]

我按照opencompass/opencompass/configs/models/qwen2_5/lmdeploy_qwen2_5_1_5b.py 中的示例，设置gen_config参数

from opencompass.models import HuggingFaceCausalLM

models = [
    dict(
        type=HuggingFaceCausalLM,
        path='my_path',
        tokenizer_kwargs=dict(trust_remote_code=True),
        model_kwargs=dict(trust_remote_code=True, device_map='auto'),
        # 推理参数
        gen_config=dict(
            do_sample=True,  # 启用采样
            top_k=20,  # 采样时考虑的最高概率的词的数量
            top_p=0.70,  # 采样时考虑的累积概率阈值
            temperature=0.6,  # 控制采样分布的温度
            repetition_penalty=1.1,  # 控制重复的惩罚
        ),
        max_seq_len=4096,
        max_out_len=4096,
        batch_padding=False, # 对一个批次的样本进行逐一推理
        # 以下参数为各类模型都有的参数，非 `HuggingFaceCausalLM` 的初始化参数
        abbr='hunyaun',# 模型简称，用于结果展示
        batch_size=4,              # 批次大小
        run_cfg=dict(num_gpus=1),
    )
]

报错：

TypeError: HuggingFace.__init__() got an unexpected keyword argument 'gen_config'

我将参数名替换为：

        generation_kwargs=dict(
            do_sample=True,  # 启用采样
            top_k=20,  # 采样时考虑的最高概率的词的数量
            top_p=0.70,  # 采样时考虑的累积概率阈值
            temperature=0.6,  # 控制采样分布的温度
            repetition_penalty=1.1,  # 控制重复的惩罚
        ),

可以解决此报错，但是似乎并没有生效，因为我设置了 repetition_penalty=1.1，在自己使用model.generate方法推理时，不会循环重复输出；而在opencompass的评估结果中多个case循环输出直到达到max token。请问如何正确设置生成参数？