Update README.md

README.md

@@ -1,3 +1,22 @@
----
-license: apache-2.0
----
+# <center>GOAT</center>
+
+GOAT(山羊)是中英文大语言模型，采用[LoRA](https://arxiv.org/pdf/2106.09685.pdf)方法以较低的资源基于[Llama](https://github.com/facebookresearch/llama)在50k的中英文数据集上指令微调。本项目下的代码、数据、模型等只供研究使用。
+
+### 模型
+本项目是基于[Llama](https://github.com/facebookresearch/llama)指令微调的模型，使用本项目代码进行微调或推理需要先[申请](https://github.com/facebookresearch/llama)或在[Huggingface](https://huggingface.co/models)下载Llama原模型权重。微调后的Adapter权重从[这里](https://huggingface.co/dannywong/GOAT)下载，并放在[GOAT_001_13B_Lora](./models/GOAT_001_13B_Lora/)目录下。
+
+### 微调
+本项目在1台RTX A6000(48G)显卡上训练了5个epoch，batch_size是128：
+```
+    max_lenght=512
+    per_device_train_batch_size=32
+    gradient_accumulation_steps=4
+    learning_rate=3e-4
+```
+
+## TODO
+ - 在对话类数据集上使用LoRA进行微调；
+ - 在对话类数据集上进行全量微调；
+ - 重构代码使其可用于多卡并行训练；
+ - 基于Llama 30B和65B微调；
+ - ...