source
name: ruadapt-qwen2.5-3B-ext-u48-instruct-v4
license: apache-2.0
tags:
- refalmachine
- multilingual
- text-generation
- text2text-generation
- natural language
- translate
- RefalMachine
- Alibaba Cloud
- Qwen
type:
- 4GB
- llm
- chat
- multilingual
- refalmachine
- qwen2
config:
- ctx=32768
- 5bit
- 4bit
resolutions:
datasets:
- IlyaGusev/saiga_scored
- IlyaGusev/saiga_preferences
- dichspace/darulm
language:
- en
- ru
size:
- 1922955488
- 2217867488
use:
shortcomings:
sources:
- Tikhomirov M., Chernyshev D. Facilitating large language model Russian adaptation with Learned Embedding Propagation // 2024 (will be soon)
- https://arxiv.org/abs/2312.02598
funded_by:
train_hardware:
pipeline_tag: text-generation
examples: (response) "А льп ак а — домашнее моз олен ого животное, предполож ительно произошедшеe от вик ун ьи ( виг они ). Раз воДят в высок огор ном по я се Южной Америки ( Ан Ды ). На сегодняшний день там обитает около трӫх миллионов аль пак, большая часть из которых нас еляет Перу. Вы ращ ивают аль пак для стр иж ки шерсти, из которой делают тёпл ые и мягкие од ея ла, пл ед ы и одежду, а из мех а делают предметы ДЛя дома."
