Update README.md
Browse files
README.md
CHANGED
@@ -15,42 +15,51 @@ should probably proofread and complete it, then remove this comment. -->
|
|
15 |
|
16 |
# llava-1.5-7b-hf-ft-mix-vsft
|
17 |
|
18 |
-
|
19 |
|
20 |
-
##
|
21 |
|
22 |
-
|
23 |
|
24 |
-
##
|
25 |
|
26 |
-
|
|
|
27 |
|
28 |
-
##
|
29 |
|
30 |
-
|
31 |
|
32 |
-
##
|
33 |
|
34 |
-
###
|
35 |
|
36 |
-
|
37 |
-
- learning_rate
|
38 |
-
- train_batch_size
|
39 |
-
- eval_batch_size
|
40 |
-
- seed
|
41 |
-
- optimizer
|
42 |
-
- lr_scheduler_type
|
43 |
-
- num_epochs
|
44 |
-
- mixed_precision_training
|
45 |
|
46 |
-
###
|
47 |
|
|
|
48 |
|
|
|
49 |
|
50 |
-
|
|
|
|
|
|
|
|
|
51 |
|
52 |
-
|
53 |
-
|
54 |
-
-
|
55 |
-
-
|
56 |
-
-
|
|
|
|
|
|
15 |
|
16 |
# llava-1.5-7b-hf-ft-mix-vsft
|
17 |
|
18 |
+
Эта модель является дообученной версией [llava-hf/llava-1.5-7b-hf](https://huggingface.co/llava-hf/llava-1.5-7b-hf) на неизвестном датасете.
|
19 |
|
20 |
+
## Описание модели
|
21 |
|
22 |
+
Эта модель была дообучена для улучшения её производительности в специфических задачах. Процесс дообучения включал адаптацию базовой модели с использованием методов Low-Rank Adaptation (LoRA) и Supervised Fine-Tuning (SFT), что делает её более эффективной для целевых приложений.
|
23 |
|
24 |
+
## Предназначенные использования и ограничения
|
25 |
|
26 |
+
- **Предназначенные использования**: Модель предназначена для задач, связанных с условной генерацией текста и распознаванием изображений. Она может быть использована в чат-ботах, интерактивных системах и других приложениях, требующих высококачественных ответов.
|
27 |
+
- **Ограничения**: Модель может не показывать хороших результатов в задачах, значительно отличающихся от тех, для которых она была дообучена. Также важно оценить её производительность на вашем конкретном датасете, чтобы убедиться, что она соответствует вашим требованиям.
|
28 |
|
29 |
+
## Данные для обучения и оценки
|
30 |
|
31 |
+
Модель была дообучена на смешанном датасете, предназначенном для инструкционных задач и визуального распознавания. Более подробная информация о датасете необходима.
|
32 |
|
33 |
+
## Процедура обучения
|
34 |
|
35 |
+
### Гиперпараметры обучения
|
36 |
|
37 |
+
Следующие гиперпараметры использовались во время обучения:
|
38 |
+
- **learning_rate**: 1.4e-05
|
39 |
+
- **train_batch_size**: 4
|
40 |
+
- **eval_batch_size**: 8
|
41 |
+
- **seed**: 42
|
42 |
+
- **optimizer**: Adam с betas=(0.9, 0.999) и epsilon=1e-08
|
43 |
+
- **lr_scheduler_type**: linear
|
44 |
+
- **num_epochs**: 1
|
45 |
+
- **mixed_precision_training**: Native AMP
|
46 |
|
47 |
+
### Результаты обучения
|
48 |
|
49 |
+
Результаты обучения в TensorBoard.
|
50 |
|
51 |
+
### Версии фреймворков
|
52 |
|
53 |
+
- **PEFT**: 0.10.0
|
54 |
+
- **Transformers**: 4.40.0
|
55 |
+
- **Pytorch**: 2.2.1+cu121
|
56 |
+
- **Datasets**: 2.19.0
|
57 |
+
- **Tokenizers**: 0.19.1
|
58 |
|
59 |
+
## Дополнительная информация
|
60 |
+
|
61 |
+
- **Квантование**: Модель использует конфигурацию квантования для оптимизации использования памяти и вычислительных ресурсов, что позволяет запускать её на устройствах с ограниченными ресурсами без значительной потери точности.
|
62 |
+
- **LoRA (Low-Rank Adaptation)**: Эта техника использовалась для дообучения модели путем адаптации её параметров в вычислительно эффективной форме, сокращая время и ресурсы, необходимые для обучения.
|
63 |
+
- **SFT (Supervised Fine-Tuning)**: Модель была дообучена с использованием SFTTrainer, что обеспечивает её хорошую адаптацию к специфическим задачам, на которых она была обучена, улучшая её производительность и надежность.
|
64 |
+
|
65 |
+
Для получения более подробной информации и ис��ользования модели, посетите [страницу модели на Hugging Face](https://huggingface.co/llava-hf/llava-1.5-7b-hf-ft-mix-vsft).
|