|
--- |
|
library_name: peft |
|
tags: |
|
- trl |
|
- sft |
|
- generated_from_trainer |
|
base_model: llava-hf/llava-1.5-7b-hf |
|
model-index: |
|
- name: llava-1.5-7b-hf-ft-mix-vsft |
|
results: [] |
|
--- |
|
|
|
<!-- This model card has been generated automatically according to the information the Trainer had access to. You |
|
should probably proofread and complete it, then remove this comment. --> |
|
|
|
# llava-1.5-7b-hf-ft-mix-vsft |
|
|
|
Эта модель является дообученной версией [llava-hf/llava-1.5-7b-hf](https://huggingface.co/llava-hf/llava-1.5-7b-hf) на датасете HuggingFaceH4/llava-instruct-mix-vsft |
|
|
|
## Описание модели |
|
|
|
Эта модель была дообучена для улучшения её производительности в специфических задачах. Процесс дообучения включал адаптацию базовой модели с использованием методов Low-Rank Adaptation (LoRA) и Supervised Fine-Tuning (SFT), что делает её более эффективной для целевых приложений. |
|
|
|
## Предназначенные использования и ограничения |
|
|
|
- **Предназначенные использования**: Модель предназначена для задач, связанных с условной генерацией текста и распознаванием изображений. Она может быть использована в чат-ботах, интерактивных системах и других приложениях, требующих высококачественных ответов. |
|
- **Ограничения**: Модель может не показывать хороших результатов в задачах, значительно отличающихся от тех, для которых она была дообучена. Также важно оценить её производительность на вашем конкретном датасете, чтобы убедиться, что она соответствует вашим требованиям. |
|
|
|
## Данные для обучения и оценки |
|
|
|
Модель была дообучена на смешанном датасете HuggingFaceH4/llava-instruct-mix-vsft, предназначенном для инструкционных задач и визуального распознавания. Более подробная информация о датасете необходима. Ссылка на датасет |
|
|
|
## Процедура обучения |
|
|
|
### Гиперпараметры обучения |
|
|
|
Следующие гиперпараметры использовались во время обучения: |
|
- **learning_rate**: 1.4e-05 |
|
- **train_batch_size**: 4 |
|
- **eval_batch_size**: 8 |
|
- **seed**: 42 |
|
- **optimizer**: Adam с betas=(0.9, 0.999) и epsilon=1e-08 |
|
- **lr_scheduler_type**: linear |
|
- **num_epochs**: 1 |
|
- **mixed_precision_training**: Native AMP |
|
|
|
### Результаты обучения |
|
|
|
Результаты обучения в TensorBoard. |
|
|
|
### Версии фреймворков |
|
|
|
- **PEFT**: 0.10.0 |
|
- **Transformers**: 4.40.0 |
|
- **Pytorch**: 2.2.1+cu121 |
|
- **Datasets**: 2.19.0 |
|
- **Tokenizers**: 0.19.1 |
|
|
|
## Дополнительная информация |
|
|
|
- **Квантование**: Модель использует конфигурацию квантования для оптимизации использования памяти и вычислительных ресурсов, что позволяет запускать её на устройствах с ограниченными ресурсами без значительной потери точности. |
|
- **LoRA (Low-Rank Adaptation)**: Эта техника использовалась для дообучения модели путем адаптации её параметров в вычислительно эффективной форме, сокращая время и ресурсы, необходимые для обучения. |
|
- **SFT (Supervised Fine-Tuning)**: Модель была дообучена с использованием SFTTrainer, что обеспечивает её хорошую адаптацию к специфическим задачам, на которых она была обучена, улучшая её производительность и надежность. |
|
|
