Update README.md
Browse files
README.md
CHANGED
@@ -15,21 +15,30 @@ widget:
|
|
15 |
pipeline_tag: text-generation
|
16 |
---
|
17 |
|
18 |
-
|
|
|
|
|
19 |
|
20 |
do_sample: true<br>
|
21 |
-
top_p: 0.96
|
22 |
-
top_k:
|
23 |
-
temperature: 0.
|
24 |
repetition_penalty: 1.16<br>
|
25 |
-
encoder_repetition_penalty: 1.
|
26 |
typical_p: 1.0<br>
|
27 |
|
28 |
|
29 |
-
Для чата желательно останавливать после '\n', также ставьте более 5 попыток генерации и ожидаемое количество новых токенов >
|
30 |
|
31 |
Очень желательно в контексте и во время диалога указывать действия и мысли в скобках. Например: Привет (вхожу в комнату, закрываю дверь)
|
32 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
33 |
|
34 |
-
|
35 |
|
|
|
15 |
pipeline_tag: text-generation
|
16 |
---
|
17 |
|
18 |
+
Сильно расширенная модель для эротического ролеплея. Основной датасет (~5 Гб) дополнен выжимкой из всего фикбука (~200 Гб), новый датасет составил почти 20 Гб. Из фикбука взяты фики с тэгами кинков, все это отфильтровано, оптимизировано по технологии TiMe
|
19 |
+
|
20 |
+
Неплохо держит конекст, параметры для старта:
|
21 |
|
22 |
do_sample: true<br>
|
23 |
+
top_p: 0.96<br>
|
24 |
+
top_k: 40<br>
|
25 |
+
temperature: 0.8 # При высоких значениях также работает неплохо<br>
|
26 |
repetition_penalty: 1.16<br>
|
27 |
+
encoder_repetition_penalty: 1.0-1.15<br>
|
28 |
typical_p: 1.0<br>
|
29 |
|
30 |
|
31 |
+
Для чата желательно останавливать после '\n', также ставьте более 5 попыток генерации и ожидаемое количество новых токенов > 350, тогда диалоги будут интереснее.
|
32 |
|
33 |
Очень желательно в контексте и во время диалога указывать действия и мысли в скобках. Например: Привет (вхожу в комнату, закрываю дверь)
|
34 |
|
35 |
+
Важно! В модели добавлен токен <char>, он указывает начало строки диалога, прямой речи:
|
36 |
+
|
37 |
+
<code>
|
38 |
+
Абзац ... контекста<br>
|
39 |
+
Я: <char> (мысли, действия и прочее) Реплика персонажа (еще мысли, контекст)<br>
|
40 |
+
Собеседник: <char> (мысли, действия и прочее) Реплика персонажа (еще мысли, контекст)<br>
|
41 |
+
</char>
|
42 |
|
43 |
+
Модель с удовольствием может "в мультичар", количество собеседников может быть более двух.
|
44 |
|