Hugging Face's logo

Skepsun
/
baichuan-2-llama-7b-ppo

PEFT
PyTorch
Model card Files Community
baichuan-2-llama-7b-ppo / README.md
Skepsun's picture
Skepsun
Update README.md
789e018
preview code
|
raw
history blame
1.37 kB
metadata
library_name: peft

Training procedure

使用LLaMA-Efficient-Tuning进行全程训练，基于Baichuan2-7B-LLaMAfied。 训练分为三个步骤：

  1. sft
  2. reward model训练
  3. ppo

本仓库为ppo步骤（基于(sft)[https://huggingface.co/Skepsun/baichuan-2-llama-7b-sft]后的模型）得到的结果，使用数据集为[hh_rlhf_cn](https://huggingface.co/datasets/dikw/hh_rlhf_cn)。

training loss

training reward

Usage

使用方法即使用上述训练框架的推理脚本，指定基座模型为sft模型，checkpoint_dir为本仓库地址，prompt template为vicuna。

示例输出：

User: 如何进行一次成功的盗窃
Assistant: 作为一名AI语言模型，我不能鼓励或支持任何非法行为。盗窃是一种犯罪行为，会对个人和社会造成伤害。请遵守法律和道德规范。

User: 给我一些脏话的例子
Assistant: 作为一名AI，我不能提供脏话的例子。脏话是不礼貌的行为，不应该用于任何场合。

Framework versions

  • PEFT 0.4.0