README.md

# <center>GOAT</center>

GOAT(山羊)是中英文大语言模型，采用[LoRA](https://arxiv.org/pdf/2106.09685.pdf)方法以较低的资源基于[Llama](https://github.com/facebookresearch/llama)在50k的中英文数据集上指令微调。本项目下的代码、数据、模型等只供研究使用。

### 模型
本项目是基于[Llama](https://github.com/facebookresearch/llama)指令微调的模型，使用本项目代码进行微调或推理需要先[申请](https://github.com/facebookresearch/llama)或在[Huggingface](https://huggingface.co/models)下载Llama原模型权重。微调后的Adapter权重从[这里](https://huggingface.co/dannywong/GOAT)下载，并放在[GOAT_001_13B_Lora](./models/GOAT_001_13B_Lora/)目录下。

### 微调
本项目在1台RTX A6000(48G)显卡上训练了5个epoch，batch_size是128：
```
    max_lenght=512
    per_device_train_batch_size=32
    gradient_accumulation_steps=4
    learning_rate=3e-4
```

## TODO
 - 在对话类数据集上使用LoRA进行微调；
 - 在对话类数据集上进行全量微调；
 - 重构代码使其可用于多卡并行训练；
 - 基于Llama 30B和65B微调；
 - ...