Commit
•
b5049db
1
Parent(s):
045d3ab
Update README.md
Browse files
README.md
CHANGED
|
@@ -9,11 +9,17 @@ tags:
|
|
| 9 |
- PTT_Chat
|
| 10 |
---
|
| 11 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 12 |
# 簡介
|
| 13 |
本模型是基於[MediaTek-Research/Breeze-7B-Instruct-v1_0](https://huggingface.co/MediaTek-Research/Breeze-7B-Instruct-v1_0)微調後的產物
|
| 14 |
模型使用來自[PTT](https://www.ptt.cc/bbs/index.html)網站中的[Gossiping](https://www.ptt.cc/bbs/Gossiping/index.html)分類的資料訓練
|
| 15 |
過程中使用了一些方法從海量的數據中，過濾出噪聲較小(理論上)的部份作為訓練數據
|
| 16 |
-
訓練資料: [Riyuechang/PTT-Corpus-100K_Gossiping-1400-
|
| 17 |
|
| 18 |
# 設備
|
| 19 |
- Ubuntu 22.04.4 LTS
|
|
|
|
| 9 |
- PTT_Chat
|
| 10 |
---
|
| 11 |
|
| 12 |
+
# 版本資訊
|
| 13 |
+
使用噪聲較小(理論上)的數據訓練
|
| 14 |
+
Lora使用了更大的r(32)
|
| 15 |
+
取消了Dora
|
| 16 |
+
因為Dora的提升有限，還會大幅降低訓練和推理的效率
|
| 17 |
+
|
| 18 |
# 簡介
|
| 19 |
本模型是基於[MediaTek-Research/Breeze-7B-Instruct-v1_0](https://huggingface.co/MediaTek-Research/Breeze-7B-Instruct-v1_0)微調後的產物
|
| 20 |
模型使用來自[PTT](https://www.ptt.cc/bbs/index.html)網站中的[Gossiping](https://www.ptt.cc/bbs/Gossiping/index.html)分類的資料訓練
|
| 21 |
過程中使用了一些方法從海量的數據中，過濾出噪聲較小(理論上)的部份作為訓練數據
|
| 22 |
+
訓練資料: [Riyuechang/PTT-Corpus-100K_Gossiping-1400-39400_v2](https://huggingface.co/datasets/Riyuechang/PTT-Corpus-100K_Gossiping-1400-39400_v2)
|
| 23 |
|
| 24 |
# 設備
|
| 25 |
- Ubuntu 22.04.4 LTS
|