CCRss commited on
Commit
ce4c0c2
1 Parent(s): 2a852b2

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +34 -25
README.md CHANGED
@@ -15,42 +15,51 @@ should probably proofread and complete it, then remove this comment. -->
15
 
16
  # llava-1.5-7b-hf-ft-mix-vsft
17
 
18
- This model is a fine-tuned version of [llava-hf/llava-1.5-7b-hf](https://huggingface.co/llava-hf/llava-1.5-7b-hf) on an unknown dataset.
19
 
20
- ## Model description
21
 
22
- More information needed
23
 
24
- ## Intended uses & limitations
25
 
26
- More information needed
 
27
 
28
- ## Training and evaluation data
29
 
30
- More information needed
31
 
32
- ## Training procedure
33
 
34
- ### Training hyperparameters
35
 
36
- The following hyperparameters were used during training:
37
- - learning_rate: 1.4e-05
38
- - train_batch_size: 4
39
- - eval_batch_size: 8
40
- - seed: 42
41
- - optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
42
- - lr_scheduler_type: linear
43
- - num_epochs: 1
44
- - mixed_precision_training: Native AMP
45
 
46
- ### Training results
47
 
 
48
 
 
49
 
50
- ### Framework versions
 
 
 
 
51
 
52
- - PEFT 0.10.0
53
- - Transformers 4.40.0
54
- - Pytorch 2.2.1+cu121
55
- - Datasets 2.19.0
56
- - Tokenizers 0.19.1
 
 
 
15
 
16
  # llava-1.5-7b-hf-ft-mix-vsft
17
 
18
+ Эта модель является дообученной версией [llava-hf/llava-1.5-7b-hf](https://huggingface.co/llava-hf/llava-1.5-7b-hf) на неизвестном датасете.
19
 
20
+ ## Описание модели
21
 
22
+ Эта модель была дообучена для улучшения её производительности в специфических задачах. Процесс дообучения включал адаптацию базовой модели с использованием методов Low-Rank Adaptation (LoRA) и Supervised Fine-Tuning (SFT), что делает её более эффективной для целевых приложений.
23
 
24
+ ## Предназначенные использования и ограничения
25
 
26
+ - **Предназначенные использования**: Модель предназначена для задач, связанных с условной генерацией текста и распознаванием изображений. Она может быть использована в чат-ботах, интерактивных системах и других приложениях, требующих высококачественных ответов.
27
+ - **Ограничения**: Модель может не показывать хороших результатов в задачах, значительно отличающихся от тех, для которых она была дообучена. Также важно оценить её производительность на вашем конкретном датасете, чтобы убедиться, что она соответствует вашим требованиям.
28
 
29
+ ## Данные для обучения и оценки
30
 
31
+ Модель была дообучена на смешанном датасете, предназначенном для инструкционных задач и визуального распознавания. Более подробная информация о датасете необходима.
32
 
33
+ ## Процедура обучения
34
 
35
+ ### Гиперпараметры обучения
36
 
37
+ Следующие гиперпараметры использовались во время обучения:
38
+ - **learning_rate**: 1.4e-05
39
+ - **train_batch_size**: 4
40
+ - **eval_batch_size**: 8
41
+ - **seed**: 42
42
+ - **optimizer**: Adam с betas=(0.9, 0.999) и epsilon=1e-08
43
+ - **lr_scheduler_type**: linear
44
+ - **num_epochs**: 1
45
+ - **mixed_precision_training**: Native AMP
46
 
47
+ ### Результаты обучения
48
 
49
+ Результаты обучения в TensorBoard.
50
 
51
+ ### Версии фреймворков
52
 
53
+ - **PEFT**: 0.10.0
54
+ - **Transformers**: 4.40.0
55
+ - **Pytorch**: 2.2.1+cu121
56
+ - **Datasets**: 2.19.0
57
+ - **Tokenizers**: 0.19.1
58
 
59
+ ## Дополнительная информация
60
+
61
+ - **Квантование**: Модель использует конфигурацию квантования для оптимизации использования памяти и вычислительных ресурсов, что позволяет запускать её на устройствах с ограниченными ресурсами без значительной потери точности.
62
+ - **LoRA (Low-Rank Adaptation)**: Эта техника использовалась для дообучения модели путем адаптации её параметров в вычислительно эффективной форме, сокращая время и ресурсы, необходимые для обучения.
63
+ - **SFT (Supervised Fine-Tuning)**: Модель была дообучена с использованием SFTTrainer, что обеспечивает её хорошую адаптацию к специфическим задачам, на которых она была обучена, улучшая её производительность и надежность.
64
+
65
+ Для получения более подробной информации и ис��ользования модели, посетите [страницу модели на Hugging Face](https://huggingface.co/llava-hf/llava-1.5-7b-hf-ft-mix-vsft).