|
--- |
|
base_model: |
|
- Vikhrmodels/QVikhr-2.5-1.5B-Instruct-SMPO |
|
language: |
|
- ru |
|
- en |
|
license: apache-2.0 |
|
library: |
|
library_name: llamacpp |
|
--- |
|
|
|
# 💨🦅 QVikhr-2.5-1.5B-Instruct-SMPO |
|
|
|
Инструктивная модель на основе **Qwen-2.5-1.5B-Instruct**, обученная на русскоязычном датасете **GrandMaster-PRO-MAX** с использованием **SMPO** (Simple Margin Preference Optimization). |
|
|
|
## Описание: |
|
|
|
**QVikhr-2.5-1.5B-Instruct-SMPO** представляет собой языковую модель, прошедшую специализированное обучение с использованием метода **SMPO**. Эта модель демонстрирует прогресс в методах выравнивания, особенно в области улучшения качества ответов через оптимизацию предпочтений. |
|
|
|
# Transformers |
|
- [QVikhr-2.5-1.5B-Instruct-SMPO](https://hf.co/Vikhrmodels/QVikhr-2.5-1.5B-Instruct-SMPO) |
|
|
|
### Авторы |
|
|
|
- Sergei Bratchikov, [NLP Wanderer](https://t.me/nlpwanderer), [Vikhr Team](https://t.me/vikhrlabs) |
|
- Nikolay Kompanets, [LakoMoor](https://t.me/lakomoordev), [Vikhr Team](https://t.me/vikhrlabs) |
|
- Konstantin Korolev, [Vikhr Team](https://t.me/vikhrlabs) |
|
- Aleksandr Nikolich, [Vikhr Team](https://t.me/vikhrlabs) |
|
|
|
``` |
|
@inproceedings{nikolich2024vikhr, |
|
title={Vikhr: Advancing Open-Source Bilingual Instruction-Following Large Language Models for Russian and English}, |
|
author={Aleksandr Nikolich and Konstantin Korolev and Sergei Bratchikov and Nikolay Kompanets and Igor Kiselev and Artem Shelmanov}, |
|
booktitle={Proceedings of the 4th Workshop on Multilingual Representation Learning (MRL) @ EMNLP-2024}, |
|
year={2024}, |
|
publisher={Association for Computational Linguistics}, |
|
url={https://arxiv.org/pdf/2405.13929} |
|
} |
|
``` |
