模型描述
使用 hfl/chinese-llama-2-7b · Hugging Face 作为中文分词器，训练的 Mixtral-4x7B-MoE 模型。
可以在单卡 A100 上推理，在 8xA100 上全量微调。
具体训练、微调代码可见 XuYipei/Mixtral-Train (github.com)
部分评测指标
| MMLU | CMMLU | C-Eval | GSM8K | MBPP |
|---|---|---|---|---|
| 55.13 | 51.10 | 52.0 | 67.17 | 40.2 |
使用方式
import torch
import transformers
def apply_multi_turn_template(history, input):
multi_turn_template = "[ROUND {} USER]{}[ROUND {} ASSISTANT]{}"
prefix = ""
for i in range(len(history)):
prefix = prefix + multi_turn_template.format(i, history[i][0], i, history[i][1])
prefix = prefix + "<|end_of_turn|>"
curr_turn_id = len(history)
curr_turn = "[ROUND {} USER]{}[ROUND {} ASSISTANT]".format(curr_turn_id, input, curr_turn_id)
return prefix + curr_turn
model = transformers.AutoModelForCausalLM.from_pretrained("XuYipei/Mixtral-4x7B-Chat-Chinese")
tokenizer = transformers.AutoTokenizer.from_pretrained("XuYipei/Mixtral-4x7B-Chat-Chinese")
model = model.to(torch.bfloat16).to("cuda")
input_text = apply_multi_turn_template([], "列举出10首杜甫的古诗，同时默写该诗篇的完整内容。")
output = md.generate(input_ids = torch.LongTensor([tk.encode(input_text)]).to("cuda:5"), eos_token_id=55296, max_length=4096)
output_text = tokenizer.decode(output[0])
'''
<s> [ROUND 0 USER]列举出10首杜甫的古诗，同时默写该诗篇的完整内容。[ROUND 0 ASSISTANT] 1. 《登高》
唐·杜甫
风急天高猿啸哀，渚清沙白鸟飞回。
无边落木萧萧下，不尽长江滚滚来。
万里悲秋常作客，百年多病独登台。
艰难苦恨繁霜鬓，潦倒新停浊酒杯。
2. 《春夜喜雨》
唐·杜甫
好雨知时节，当春乃发生。
随风潜入夜，润物细无声。
野径云俱黑，江船火独明。
晓看红湿处，花重锦官城。
3. 《绝句》
唐·杜甫
迟日江山丽，春风花草香。
泥融飞燕子，沙暖睡鸳鸯。
4. 《登楼》
唐·杜甫
花近高楼伤客心，万方多难此登临。
锦江春色来天地，玉垒浮云变古今。
北极朝廷终不改，西山寇盗莫相侵。
可怜后主还祠庙，日暮聊为梁甫吟。
5. 《茅屋为秋风所破歌》
唐·杜甫
八月秋高风怒号，卷我屋上三重茅。
茅飞渡江洒江郊，高者挂罥长林梢，
下者飘转沉塘坳。
南村群童欺我老无力，忍能对面为盗贼。
公然抱茅入竹去，唇焦口燥呼不得，
归来倚杖自叹息。
6. 《江南逢李龟年》
唐·杜甫
岐王宅里寻常见，崔九堂前几度闻。
正是江南好风景，落花时节又逢君。
7. 《闻官军收河南河北》
唐·杜甫
剑外忽传收蓟北，初闻涕泪满衣裳。
却看妻子愁何在，漫卷诗书喜欲狂。
白日放歌须纵酒，青春作伴好还乡。
即从巴峡穿巫峡，便下襄阳向洛阳。
8. 《旅夜书怀》
唐·杜甫
细草微风岸，危樯独夜舟。
星垂平野阔，月涌大江流。
名岂文章著，官应老病休。
飘飘何所似，天地一沙鸥。
9. 《江畔独步寻花》
唐·杜甫
黄四娘家花满蹊，千朵万朵压枝低。
留恋戏蝶时时舞，自在娇莺恰恰啼。
10. 《赠花卿》
唐·杜甫
锦城丝管日纷纷，半入江风半入云。
此曲只应天上有，人间能得几回闻。<|end_of_turn|>
'''
致谢
感谢知识工厂梁家卿老师、肖仰华老师的指导，感谢小i机器人的支持。