mihaimasala commited on
Commit
244a590
·
verified ·
1 Parent(s): 7da74c9

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +12 -7
README.md CHANGED
@@ -54,13 +54,18 @@ Use the code below to get started with the model.
54
  ```python
55
  from transformers import AutoTokenizer, AutoModelForCausalLM
56
 
57
- tokenizer = AutoTokenizer.from_pretrained("OpenLLM-Ro/RoLlama2-7b-Base")
58
- model = AutoModelForCausalLM.from_pretrained("OpenLLM-Ro/RoLlama2-7b-Base")
59
-
60
- input_text = "Write me a poem about Machine Learning."
61
- input_ids = tokenizer(input_text, return_tensors="pt")
62
-
63
- outputs = model.generate(**input_ids)
 
 
 
 
 
64
  print(tokenizer.decode(outputs[0]))
65
  ```
66
 
 
54
  ```python
55
  from transformers import AutoTokenizer, AutoModelForCausalLM
56
 
57
+ tokenizer = AutoTokenizer.from_pretrained("OpenLLM-Ro/RoLlama2-7b-Chat")
58
+ model = AutoModelForCausalLM.from_pretrained("OpenLLM-Ro/RoLlama2-7b-Chat")
59
+
60
+ instruction = "Care este cel mai înalt vârf muntos din România?"
61
+ chat = [
62
+ {"role": "system", "content": "Ești un asistent folositor, respectuos și onest. Încearcă să ajuți cât mai mult prin informațiile oferite, excluzând răspunsuri toxice, rasiste, sexiste, periculoase și ilegale."},
63
+ {"role": "user", "content": instruction},
64
+ ]
65
+ prompt = tokenizer.apply_chat_template(chat, tokenize=False)
66
+
67
+ inputs = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt")
68
+ outputs = model.generate(input_ids=inputs, max_new_tokens=128)
69
  print(tokenizer.decode(outputs[0]))
70
  ```
71