DataPilot commited on
Commit
913cf2d
·
verified ·
1 Parent(s): 54ae212
Files changed (1) hide show
  1. README.md +14 -4
README.md CHANGED
@@ -6,17 +6,27 @@ language: ja
6
 
7
  ## 概要
8
 
9
- 「LOCAL AI HACKATHON」における、チームDataPilot,3つめの成果品です。Line社が開発した「japanese-large-lm-3.6b-instruction-sft」をウィキブックの内容をもとに中学、高校範囲にてファインチューニングを行いました。
 
10
 
11
  ## how to use
12
 
13
  ```python
 
 
 
 
 
 
 
 
 
14
  import torch
15
  from transformers import AutoModelForSequenceClassification
16
- from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline #transformerとtorchがインストールされていることを前提とします。
17
 
18
- model = AutoModelForCausalLM.from_pretrainedmodel = AutoModelForCausalLM.from_pretrained("DataPilot/ArrowSmartPlus_3.6B_instant_sft")
19
- tokenizer = AutoTokenizer.from_pretrained("DataPilot/ArrowSmartPlus_3.6B_instant_sft")
20
 
21
  generator = pipeline("text-generation", model=model, tokenizer=tokenizer, device=0)
22
 
 
6
 
7
  ## 概要
8
 
9
+ 「LOCAL AI HACKATHON」における、チームDataPilot,4つめの成果品です。Line社が開発した「japanese-large-lm-3.6b-instruction-sft」をウィキブックの内容をもとに中学、高校範囲にてファインチューニングを行いました。
10
+ それに加え、saldra/sakura_japanese_datasetでインストラクションチューニングを行いました。
11
 
12
  ## how to use
13
 
14
  ```python
15
+ #pip install transformer
16
+ #pip install pipline
17
+ #pip install protobu
18
+ #pip install accelerate
19
+ #pip install sentencepiece
20
+ #pip install torch
21
+
22
+ #以上6つをピップインストールしてください。
23
+
24
  import torch
25
  from transformers import AutoModelForSequenceClassification
26
+ from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
27
 
28
+ model = AutoModelForCausalLM.from_pretrainedmodel = AutoModelForCausalLM.from_pretrained("DataPilot/ArrowSmartPlus_3.6B_instruction")
29
+ tokenizer = AutoTokenizer.from_pretrained("DataPilot/ArrowSmartPlus_3.6B_instruction")
30
 
31
  generator = pipeline("text-generation", model=model, tokenizer=tokenizer, device=0)
32