Files changed (1) hide show
  1. README.md +73 -62
README.md CHANGED
@@ -1,62 +1,73 @@
1
- ---
2
- license: apache-2.0
3
- language:
4
- - ja
5
- - en
6
- base_model:
7
- - Qwen/Qwen2.5-32B-Instruct
8
- - cyberagent/DeepSeek-R1-Distill-Qwen-32B-Japanese
9
- ---
10
-
11
- ## 概要
12
- このモデルはDeepSeek社のR1蒸留モデルである[deepseek-ai/DeepSeek-R1-Distill-Qwen-32B](https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-32B)を日本語ファインチューニングしたcyber agent社の[cyberagent/DeepSeek-R1-Distill-Qwen-32B-Japanese](https://huggingface.co/cyberagent/DeepSeek-R1-Distill-Qwen-32B-Japanese)に対して[Qwen/Qwen2.5-32B-Instruct](https://huggingface.co/Qwen/Qwen2.5-32B-Instruct)をChatVectorを用いて加えたものに、独自の日本語強化ファインチューニングをしたモデルとなります。
13
-
14
- このモデルは **長考モデル**ではありません。
15
- ## How to use
16
- ```python
17
- from transformers import AutoModelForCausalLM, AutoTokenizer
18
-
19
- model_name = "DataPilot/Arrival-32B-Instruct-v0.2"
20
- tokenizer_name = ""
21
-
22
- if tokenizer_name == "":
23
- tokenizer_name = model_name
24
-
25
- model = AutoModelForCausalLM.from_pretrained(
26
- model_name,
27
- torch_dtype="auto",
28
- device_map="auto"
29
- )
30
- tokenizer = AutoTokenizer.from_pretrained(tokenizer_name)
31
-
32
- prompt = "9.9と9.11はどちらのほうが大きいですか?"
33
- messages = [
34
- {"role": "system", "content": "あなたは優秀な日本語アシスタントです。問題解決をするために考えた上で回答を行ってください。"},
35
- {"role": "user", "content": prompt}
36
- ]
37
- text = tokenizer.apply_chat_template(
38
- messages,
39
- tokenize=False,
40
- add_generation_prompt=True
41
- )
42
- model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
43
-
44
- generated_ids = model.generate(
45
- **model_inputs,
46
- max_new_tokens=1024
47
- )
48
- generated_ids = [
49
- output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
50
- ]
51
-
52
- response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
53
-
54
- print(response)
55
- ```
56
-
57
- ## ベンチマーク
58
- このモデルはELYZA-task100で4.58をマークしました。(評価にはGroqのllama3-70B-8192を使用しました。)
59
-
60
-
61
- ## 謝辞
62
- モデルの作成者であるDeepSeekチーム, Qwenチーム, CyberAgentチーム、評価モデルの作成者であるmeta社とAPIを公開しているGroq社、計算資源を貸していただいたVOLTMIND社に感謝を申し上げます。
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: apache-2.0
3
+ language:
4
+ - zho
5
+ - eng
6
+ - fra
7
+ - spa
8
+ - por
9
+ - deu
10
+ - ita
11
+ - rus
12
+ - jpn
13
+ - kor
14
+ - vie
15
+ - tha
16
+ - ara
17
+ base_model:
18
+ - Qwen/Qwen2.5-32B-Instruct
19
+ - cyberagent/DeepSeek-R1-Distill-Qwen-32B-Japanese
20
+ ---
21
+
22
+ ## 概要
23
+ このモデルはDeepSeek社のR1蒸留モデルである[deepseek-ai/DeepSeek-R1-Distill-Qwen-32B](https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-32B)を日本語ファインチューニングしたcyber agent社の[cyberagent/DeepSeek-R1-Distill-Qwen-32B-Japanese](https://huggingface.co/cyberagent/DeepSeek-R1-Distill-Qwen-32B-Japanese)に対して[Qwen/Qwen2.5-32B-Instruct](https://huggingface.co/Qwen/Qwen2.5-32B-Instruct)をChatVectorを用いて加えたものに、独自の日本語強化ファインチューニングをしたモデルとなります。
24
+
25
+ このモデルは **長考モデル**ではありません。
26
+ ## How to use
27
+ ```python
28
+ from transformers import AutoModelForCausalLM, AutoTokenizer
29
+
30
+ model_name = "DataPilot/Arrival-32B-Instruct-v0.2"
31
+ tokenizer_name = ""
32
+
33
+ if tokenizer_name == "":
34
+ tokenizer_name = model_name
35
+
36
+ model = AutoModelForCausalLM.from_pretrained(
37
+ model_name,
38
+ torch_dtype="auto",
39
+ device_map="auto"
40
+ )
41
+ tokenizer = AutoTokenizer.from_pretrained(tokenizer_name)
42
+
43
+ prompt = "9.9と9.11はどちらのほうが大きいですか?"
44
+ messages = [
45
+ {"role": "system", "content": "あなたは優秀な日本語アシスタントです。問題解決をするために考えた上で回答を行ってください。"},
46
+ {"role": "user", "content": prompt}
47
+ ]
48
+ text = tokenizer.apply_chat_template(
49
+ messages,
50
+ tokenize=False,
51
+ add_generation_prompt=True
52
+ )
53
+ model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
54
+
55
+ generated_ids = model.generate(
56
+ **model_inputs,
57
+ max_new_tokens=1024
58
+ )
59
+ generated_ids = [
60
+ output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
61
+ ]
62
+
63
+ response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
64
+
65
+ print(response)
66
+ ```
67
+
68
+ ## ベンチマーク
69
+ このモデルはELYZA-task100で4.58をマークしました。(評価にはGroqのllama3-70B-8192を使用しました。)
70
+
71
+
72
+ ## 謝辞
73
+ モデルの作成者であるDeepSeekチーム, Qwenチーム, CyberAgentチーム、評価モデルの作成者であるmeta社とAPIを公開しているGroq社、計算資源を貸していただいたVOLTMIND社に感謝を申し上げます。