|
--- |
|
language: |
|
- ru |
|
--- |
|
## Инструктивный вихрь 5.4 |
|
|
|
Базовый Вихрь 5той версии (мистраль) обученный на переведенных инструкциях и ответах GPT-4 и улучшенный с помощью [ORPO](https://argilla.io/blog/mantisnlp-rlhf-part-8/) на нашем внутреннем датасете. |
|
|
|
Модель имеет довольно высокое разннобразие ответов, поэтому рекомендуется использовать temperature в рендже [0.1, 0.4]. |
|
|
|
- [GGUF](https://huggingface.co/Vikhrmodels/it-5.4-fp16-orpo-v2-GGUF) |
|
|
|
### Использование через transformers |
|
|
|
```python |
|
from transformers import AutoModelForCausalLM, AutoTokenizer |
|
import torch |
|
|
|
model_name = 'Vikhrmodels/it-5.4-fp16-orpo-v2' |
|
model = AutoModelForCausalLM.from_pretrained( |
|
model_name, |
|
device_map="sequential", |
|
attn_implementation="sdpa", |
|
torch_dtype=torch.bfloat16 |
|
) |
|
tokenizer = AutoTokenizer.from_pretrained(model_name) |
|
|
|
test_input = tokenizer.apply_chat_template([ |
|
{'role': 'user', 'content': 'Привет, объясни что такое черные дыры'} |
|
], add_generation_prompt=True, tokenize=True, return_tensors='pt') |
|
test_input = test_input.to(model.device) |
|
|
|
answer = model.generate( |
|
test_input, |
|
do_sample=True, |
|
use_cache=True, |
|
max_new_tokens=256, |
|
temperature=0.3, |
|
)[:, test_input.shape[-1]:] |
|
answer = tokenizer.batch_decode(answer, skip_special_tokens=True)[0] |
|
print(answer) |
|
``` |
|
|
|
Ответ модели: |
|
|
|
> Привет! Черные дыры - это удивительные объекты, которые существуют в космосе. Они образуются из остатков массивных звезд, которые взрываются в результате сверхновой. После взрыва остается ядро звезды, которое коллапсирует под действием собственной гравитации, образуя черную дыру. |
|
> |
|
> Черная дыра - это область пространства, где гравитационное притяжение настолько сильное, что ничто, даже свет, не может вырваться из нее. Это происходит потому, что гравитационное поле черной дыры настолько сильное, что оно искривляет пространство-время настолько, что даже свет не может покинуть ее. |
|
> |
|
> Черные дыры могут быть разных размеров, от маленьких, которые могут быть размером с планету, до огромных, которые могут быть размером с галактику. Они могут быть как неподвижными, так и движущимися, и могут взаимодействовать с другими объектами в космосе, такими как звезды и планеты. |
|
> |
|
> Черные дыры - это удивительные объекты, которые продолжают изучать ученые, и они могут многое рассказать нам о Вселенной и ее происхождении. |
|
|
|
### Использование через vllm + openai client |
|
|
|
Запуск сервера в терминале: \ |
|
`python -m vllm.entrypoints.openai.api_server --model Vikhrmodels/it-5.4-fp16-orpo-v2 --dtype half --api-key token-abc123 -tp 1` |
|
|
|
```python |
|
import openai |
|
|
|
llm_model = "Vikhrmodels/it-5.4-fp16-orpo-v2" |
|
llm_client = openai.OpenAI( |
|
base_url="http://localhost:8000/v1", |
|
api_key="token-abc123", |
|
) |
|
|
|
def make_completion(history, client, model): |
|
completion = client.chat.completions.create( |
|
model=model, |
|
messages=history, |
|
temperature=0.3, |
|
max_tokens=2048, |
|
stop=["</s>", "<eos>", "<|eot_id|>", "<|im_end|>"] |
|
) |
|
output = completion.choices[0].message.content |
|
return output |
|
|
|
answer = make_completion([ |
|
{'role': 'user', 'content': 'Привет, объясни что такое черные дыры'} |
|
], llm_client, llm_model) |
|
print(answer) |
|
``` |
|
|
|
### Метрики на ru_arena_general |
|
|
|
 |
