Update README.md

Add another example of inference

README.md

@@ -64,4 +64,73 @@ pipeline = transformers.pipeline(
 
 outputs = pipeline(prompt, max_new_tokens=256, do_sample=True, temperature=0.7, top_k=50, top_p=0.95)
 print(outputs[0]["generated_text"])
+```
+
+or
+
+```python
+import torch
+from transformers import AutoTokenizer, GenerationConfig, AutoModelForCausalLM
+
+
+model_id = "d0rj/Llama-3-8B-saiga-suzume-ties"
+tokenizer = AutoTokenizer.from_pretrained(model_id)
+model = AutoModelForCausalLM.from_pretrained(
+    model_id,
+    torch_dtype=torch.float16,
+    attn_implementation="flash_attention_2", # if you can
+).to("cuda").eval()
+generation_config = GenerationConfig(
+    do_sample=True,
+    top_k=30,
+    top_p=0.9,
+    temperature=1.04,
+    repeatition_penalty=1.2,
+    max_length=8192,
+    max_new_tokens=512,
+    min_new_tokens=2,
+    pad_token_id=tokenizer.eos_token_id,
+)
+
+data = tokenizer.apply_chat_template(
+    [
+        {"role": "system', "content": "Ты — Сайга, русскоязычный автоматический ассистент. Ты разговариваешь с людьми и помогаешь им."},
+        {"role": "user", "content": "Привет! Как дела?"},
+        {"role": "assistant", "content": "Привет! Спасибо, дела неплохо. Как у тебя? Чем могу помочь?"},
+        {"role": "user", "content": "Расскажи, как сдать сессию, если лень даже думать о ней?"},
+    ],
+    return_tensors="pt",
+    return_dict=True,
+    add_generation_prompt=True,
+).to(model.device)
+with torch.inference_mode():
+    output_ids = model.generate(
+        **data,
+        generation_config=generation_config
+    )[0]
+output_ids = output_ids[len(data["input_ids"][0]):]
+output = tokenizer.decode(output_ids, skip_special_tokens=True)
+print(output.strip())
+```
+
+```
+Сдача сессии — это важный момент в жизни каждого студента. Если вы чувствуете лень думать о ней, возможно, стоит попытаться найти мотивацию. Вот несколько советов, которые могут помочь:
+
+1. **Определите причины своей лени.** Если лень связана с чем-то конкретным, попробуйте определить и устранить эту проблему. Например, может быть, вы недосыпаете, вечно устаете или что-то еще.
+
+2. **Рассмотрите сессию как часть вашей жизни.** Понимание того, что сессия — это не просто обязанность, а также возможность учиться и развиваться, может изменить ваше отношение к этому процессу.
+
+3. **Разбейте задачи на маленькие части.** Часто кажется, что большая задача непреодолима, но если разделить ее на меньшие, они станут более доступными.
+
+4. **Планируйте и организуйте свое время.** Разработайте план изучения и следуйте ему. Это поможет вам лучше управлять своим временем и мотивацией.
+
+5. **Получите поддержку.** Поделитесь своими трудностями с друзьями или семьей. Они могут предложить советы или поддержку.
+
+6. **Найдите способы сделать изучение интересным.** Может быть, найдите что-то, что вам нравится, и начните изучать вместе с этим. Это поможет сделать процесс более приятным и стимулирует вас к обучению.
+
+7. **Создайте для себя награды за выполнение задач.** Это может быть что-то простое, например, посмотреть свою любимую серию или сходить на прогулку. Таким образом, вы будете мотивированы продолжать изучение.
+
+8. **Помните о своих целях.** Долгосрочные цели могут служить хорошим мотивационным фактором. Помните, что каждая сессия — это шаг к достижению ваших мечт.
+
+Помните, что самое главное — это не сдача сессии, а процесс обучения и развития. Будьте добры к себе и не забывайте о своих успехах
 ```