PyTorch
Korean
English
qwen2
krx
gyung commited on
Commit
35c2ef2
β€’
1 Parent(s): 78651fd

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +71 -3
README.md CHANGED
@@ -1,3 +1,71 @@
1
- ---
2
- license: apache-2.0
3
- ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: apache-2.0
3
+ language:
4
+ - ko
5
+ - en
6
+ base_model:
7
+ - unsloth/Qwen2.5-7B
8
+ tags:
9
+ - krx
10
+ ---
11
+
12
+ Sejong-Qwen-v1_inference.ipynb: [![Open In Colab](https://colab.research.google.com/drive/1ZIjsV-zHNXOKOk03PCrJiAdG8I8JlqHh?usp=sharing)
13
+
14
+ # Usage:
15
+
16
+ 8.7 GB의 GPU RAM을 μ‚¬μš©ν•˜μ—¬, Colabμ—μ„œ T4둜 μ•ˆμ •μ μΈ Inferenceκ°€ κ°€λŠ₯ν•©λ‹ˆλ‹€.
17
+
18
+
19
+ ``` python
20
+ !pip install transformers einops accelerate
21
+ !pip install qwen
22
+ !pip install unsloth
23
+
24
+ from transformers import AutoTokenizer, AutoModelForCausalLM
25
+
26
+ # ν† ν¬λ‚˜μ΄μ €μ™€ λͺ¨λΈ λ‘œλ“œ
27
+ tokenizer = AutoTokenizer.from_pretrained(
28
+ "SejongKRX/Sejong-Qwen-v1",
29
+ trust_remote_code=True,
30
+ use_fast=False
31
+ )
32
+ model = AutoModelForCausalLM.from_pretrained(
33
+ "SejongKRX/Sejong-Qwen-v1",
34
+ trust_remote_code=True
35
+ )
36
+
37
+ # μž…λ ₯ ν…μŠ€νŠΈ
38
+ input_text = """
39
+ λ‹€μŒ 쀑 ν™”νμ˜ μ‹œκ°„κ°€μΉ˜μ— κ΄€ν•œ μ„€λͺ…μœΌλ‘œ μ˜³μ§€ μ•Šμ€ 것은 무엇인가?
40
+
41
+ A. μ›” 볡리의 경우, 맀월 μ μš©λ˜λŠ” μ΄μžμœ¨μ€ μ—°κ°„ λͺ…λͺ© μ΄μžμœ¨μ„ 1/12둜 λ‚˜λˆ„μ–΄ μ‚°μΆœν•œλ‹€.
42
+ B. 투자 μ›κΈˆ 및 기타 쑰건이 동일할 경우, 단리 방식보닀 볡리 λ°©μ‹μ—μ„œ λ°œμƒν•˜λŠ” μ΄μžκ°€ 더 크닀.
43
+ C. μΌμ‹œλΆˆλ‘œ 지급될 κΈˆμ•‘μ˜ ν˜„μž¬ κ°€μΉ˜λŠ” 미래 κ°€μΉ˜λ₯Ό 일정 κΈ°κ°„ λ™μ•ˆ ν• μΈμœ¨μ„ μ μš©ν•΄ μ‚°μΆœν•  수 μžˆλ‹€.
44
+ D. 1,000,000원을 μ—° 5% 볡리둜 2λ…„ λ™μ•ˆ μ˜ˆμΉ˜ν–ˆμ„ 경우, λ§ŒκΈ°μ— 받을 μ„Έμ „ μ΄μžλŠ” 100,000원이닀.
45
+
46
+ ### μ •λ‹΅:
47
+ """
48
+
49
+ # 토큰화 및 μž…λ ₯ ν…μ„œλ₯Ό GPU둜 이동
50
+ inputs = tokenizer(input_text, return_tensors="pt").to("cuda")
51
+
52
+ # λͺ¨λΈμ„ μ‚¬μš©ν•˜μ—¬ ν…μŠ€νŠΈ 생성
53
+ output = model.generate(**inputs, max_length=1500)
54
+
55
+ # κ²°κ³Ό λ””μ½”λ”©
56
+ generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
57
+ print(generated_text)
58
+ ```
59
+
60
+ output:
61
+ ```
62
+ λ‹€μŒ 쀑 ν™”νμ˜ μ‹œκ°„κ°€μΉ˜μ— κ΄€ν•œ μ„€λͺ…μœΌλ‘œ μ˜³μ§€ μ•Šμ€ 것은 무엇인가?
63
+
64
+ A. μ›” 볡리의 경우, 맀월 μ μš©λ˜λŠ” μ΄μžμœ¨μ€ μ—°κ°„ λͺ…λͺ© μ΄μžμœ¨μ„ 1/12둜 λ‚˜λˆ„μ–΄ μ‚°μΆœν•œλ‹€.
65
+ B. 투자 μ›κΈˆ 및 기타 쑰건이 동일할 경우, 단리 방식보닀 볡리 λ°©μ‹μ—μ„œ λ°œμƒν•˜λŠ” μ΄μžκ°€ 더 크닀.
66
+ C. μΌμ‹œλΆˆλ‘œ 지급될 κΈˆμ•‘μ˜ ν˜„μž¬ κ°€μΉ˜λŠ” 미래 κ°€μΉ˜λ₯Ό 일정 κΈ°κ°„ λ™μ•ˆ ν• μΈμœ¨μ„ μ μš©ν•΄ μ‚°μΆœν•  수 μžˆλ‹€.
67
+ D. 1,000,000원을 μ—° 5% 볡리둜 2λ…„ λ™μ•ˆ μ˜ˆμΉ˜ν–ˆμ„ 경우, λ§ŒκΈ°μ— 받을 μ„Έμ „ μ΄μžλŠ” 100,000원이닀.
68
+
69
+ ### μ •λ‹΅:
70
+ D
71
+ ```