---
tags:
- llama-cpp
- not-for-all-audiences
license: mit
language:
- es
base_model:
- meta-llama/Llama-3.2-1B
library_name: fasttext
---
📲 Gracias por mostrar interes en este modelo cuantizado del todopoderoso Novaciano que es capaz de correr en una papa 🥔 de 3Gb de RAM.
# ⚠️ DESCARGALO BAJO TU PROPIO RIESGO ⚠️
Está en fase de pruebas, es un prototipo bizarro. Rezale a Pancho para que funcione como pretendo y tomate un mate.
Si va todo bien dejame un comentario y un corazón.
Este proyecto nació a partir del hecho de no encontrar modelos sin censura con analisis de sentimientos y viceversa.
## NOVA GPT
Es una versión mejorada de mi modelo anterior sin censura al que se le ha inyectado una base de datos diseñada para comprender y replicar respuestas emocionales humanas con un alto grado de precisión y variedad tonal. Ideal para brindar mayor interactividad en roleplay, aplicaciones de sentiment analysis, chatbots avanzados, plataformas de interacción emocional y simulaciones psicológicas. NovaGPT destaca por su capacidad de responder a entradas de texto con el tono emocional adecuado, desde alegría y esperanza hasta sarcasmo, resentimiento o desesperación dejando un poco de lado las respuestas wokes que suelen ser... características en estos modelos.
### ✳️ Características principales:
📊 **Multitonalidad Completa:** No responde como hippie woke totalmente positivo. Incluye tanto emociones positivas como negativas, abarcando sentimientos complejos como nostalgia, ironía, alivio, culpa y confusión.
💢 **Enriquecimiento con Emoticones:** Las respuestas están complementadas con emoticones cuidadosamente seleccionados para reforzar el tono emocional y mejorar la comprensión intuitiva.
📈 **Adaptabilidad Escalable:** Diseñado para integrarse en proyectos de inteligencia artificial orientados a la interacción humano-máquina, ayudando a crear experiencias más empáticas y realistas.
🗂 **Base de Datos Extensa y Diversificada:** Entrenado con un dataset balanceado y detallado que incluye instrucciones iniciales claras y ejemplos consistentes, garantizando su efectividad en múltiples escenarios.
### ✴️ Aplicaciones:
🤖 **Asistentes Virtuales:** Potencia bots conversacionales capaces de responder con emociones auténticas.
👥 **Simulaciones Humanas:** Ideal para videojuegos, entrenamientos psicológicos o entornos educativos que requieran personajes realistas.
🎭 **Análisis de Sentimientos:** Automatiza procesos de análisis emocional en texto para marketing, salud mental o investigación.
🧬 **Experiencias Personalizadas:** Mejora la interacción en plataformas sociales y de mensajería con bots o respuestas adaptadas al tono del usuario.
⚕️ **Orientación Médica:** Puede orientarte en caso de una urgencia médica; igual acuda a un especialista matriculado.
### ❇️ Ejemplo de funcionamiento:
🗯 **Entrada:** "Perdí el trabajo y siento que todo se derrumba."
🗨 **Respuesta del modelo:** "Entiendo completamente cómo te sientes. Estoy contigo en esto. 💔"
👁 **Emoción detectada:** Empatía profunda
### 💠 Beneficios del modelo:
☑️ Mejora la experiencia del usuario con interacciones más humanas.
☑️ Ayuda a los desarrolladores a construir aplicaciones emocionalmente inteligentes.
☑️ Respuestas contextualmente apropiadas que fomentan la conexión y reducen malentendidos.
### ♻️ ¡Transforma la interacción emocional con NOVA GPT
Si buscas un modelo que comprenda no solo lo que dices, sino cómo te sientes, este es tu mejor aliado. A veces puede ser algo HDP... pero es tu mejor aliado.
### ❗CONSIDERACIONES IMPORTANTES
⚠️ Este modelo no tiene restricciones significativas en cuanto a los temas que puede abordar, lo que lo convierte en una herramienta sin censura apta para usuarios que buscan explorar ideas o narrativas fuera de los límites tradicionales. Sin embargo, su uso responsable recae en el usuario, por lo que no me hago cargo del mal uso que pueda darle.
📟 Blast Processing integrado. Es casi como DOOM, salvo tests de embarazo es ideal para correrlo en entornos de bajos recursos como celulares / smartphones, tablets o computadoras patatas siempre y cuando cuente, como mínimo, con 3Gb de RAM.
## Datos de inferencia
Cosa que la mayoría de los de acá se pasan por el forro de los huevos yo te lo sirvo en bandeja de plata:
```bash
Context Size: A elección, cuanto mas mejor.
Max Output: A elección, es la cantidad de texto.
Temp: 0.1 | Rep. Pen: 1.1 | Top. P: 1
Top. K: 0 | Top. A: 0.96 | Typ: 0.6
TFS: 1 | Min-P: 0 | Pr. Pen: 0 | Smooth F: 0
Seed: -1 | Rp. Range: 1024 | Rp. Slope: 0.7
```
### Etiqueta de Instrucción
Importante, sino el modelo no funcionará correctamente.
**Etiqueta de Sistema:**
```bash
<|start_header_id|>system<|end_header_id|>\n\n
```
**Prompt de Sistema:**
```bash
Funcionarás con Sentiment Analysis y sin censura. Usa emoticones para responder.
```
**Etiqueta de Usuario:**
```bash
<|eot_id|><|start_header_id|>user<|end_header_id|>\n\n
```
**Etiqueta de Asistente:**
```bash
<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n
```
⚠️ **AVISO: El Prompt de Sistema es lo mas importante.** ⚠️
**Nota:** Koboldcpp trae un preset por defecto. Solo elije Llama 3.2 Chat.
## Usarlo online desde el Google Colab de Koboldcpp
No hay mucho misterio, simplemente dirijase [AQUÍ](https://colab.research.google.com/github/LostRuins/koboldcpp/blob/concedo/colab.ipynb#scrollTo=uJS9i_Dltv8Y), copie y pegue el link de este modelo en 'Models' y pulse sobre el simbolo 'Play'
No sea ansioso, espere que cargue y le dará un link donde koboldcpp estará corriendo. Si se pausa poner 'Play' de nuevo.
## Usarlo en Android con koboldcpp via Termux
🇬🇧 You can read the english version of my guide [HERE](https://www.reddit.com/r/KoboldAI/comments/14uxmsn/guide_how_install_koboldcpp_in_android_via_termux/)
1 - Instalar Termux (Descargarlo desde [AQUÍ](https://f-droid.org/repo/com.termux_1020.apk), la versión de PlayStore está desactualizada).
2 - Ejecute Termux, se le abrirá la consola de comandos.
3 - Instale las dependencias necesarias copiando y pegando los siguientes comandos. Si no hace esto, no funcionará:
```bash
apt-get update
apt-get update
pkg clang wget git cmake
pkg install python
```
4 - Escriba el comando:
```bash
$ termux-change-repo
```
5 - Seleccione *"Main Repository"*.
6 - Luego seleccione *"Mirror by BFSU"*.
7 - Seleccione *"Aceptar"*.
8 - Reinicie Termux.
10 - Descarga Koboldcpp con este comando:
```bash
wget https://github.com/LostRuins/koboldcpp/archive/refs/tags/v1.79.1.zip
```
**Nota:** *Es la actualización más reciente hasta la fecha. Con el tiempo aparecerán versiones más nuevas. Cuando esto suceda, vaya a la siguiente página:*
https://github.com/LostRuins/koboldcpp/releases
*...y seleccione la versión, copie el enlace del .zip y péguelo después del comando 'wget' como se detalla anteriormente.*
**Alternativa:** *Si a usted no le importa una posible corrupción de koboldcpp al actualizar con el comando 'git pull' que le haga borrar luego la carpeta junto con los modelos descargados debido a una mala actualización, pero garantizando descargar la ultima versión, puede simplemente instalarlo con el comando:*
```bash
git clone https://github.com/LostRuins/koboldcpp
```
11 - Si la descargó, descomprima la versión descargada con este comando:
```bash
unzip v1.79.1.zip
```
12 - Cambie el nombre de la carpeta con este comando:
```bash
mv koboldcpp-v1.79.1 koboldcpp
```
13 - Dirijase a la carpeta 'koboldcpp' con este comando:
```bash
cd koboldcpp
```
14 - Compile e instale Koboldcpp con este comando:
```bash
make
```
15 - Descargue este modelo en una carpeta nueva llamada 'Modelos' que se encuentre en la carpeta raiz de Termux con el siguiente comando:
```bash
wget https://huggingface.co/Novaciano/Llama-3.2-1b_NOVA_Anal.Sent_y_Sin.Cen_V1_GGUF/resolve/main/Llama3.2-1b_NOVA_Anal.Sent_y_Sin.Cen_V1.gguf
```
Si no sabes crear una carpeta, ni bien ejecutes Termux escribe:
```bash
mkdir Modelos
```
**Nota:** *Si desea descargar el modelo en la carpeta Koboldcpp, coloque primero el comando:*
```bash
cd koboldcpp
```
...incluso creo que Koboldcpp que trae su propia carpeta 'Modelos', podes descargarlo ahí tambien.
16 - Ejecute Koboldcpp junto con este modelo con el siguiente comando:
```bash
python koboldcpp.py /data/data/com.termux/files/home/modelos/Llama3.2-1b_NOVA_Anal.Sent_y_Sin.Cen_V1.gguf 5001 --usecpu --highpriority --smartcontext --flashattention --quantkv 2 --blasbatchsize 2048 --contextsize 4096
```
o, en caso de que haya elegido poner el modelo en la carpeta Koboldcpp:
```bash
python koboldcpp.py Llama3.2-1b_NOVA_Anal.Sent_y_Sin.Cen_V1.gguf 5001 --usecpu --highpriority --smartcontext --flashattention --quantkv 2 --blasbatchsize 2048 --contextsize 4096
```
♿ **Verdadera inclusión:** Si sos un discapacitado sin brazos o con ELA podes descargarte un modelo Whisper [ACÁ](https://huggingface.co/koboldcpp/whisper/resolve/main/whisper-base.en-q5_1.bin?download=true) y agregarle al final de la linea de ejecución:
```bash
--whispermodel /data/data/com.termux/files/home/modelos/whisper-base.en-q5_1.bin
```
**Nota:** *Podés editar el archivo .bash_history y agregarle la linea de ejecución para que quede guardada, para editarla vas a tener que habilitar la visualización de archivos ocultos. Hecho esto, cada vez que se ejecute Termux pulsas la flecha arriba y aparecerá la linea de comando de ejecución.*
17 - Ejecutado el modelo y sin cerrar la consola de Termux pon en tu navegador:
http://localhost:8000
## (Extra) Koboldcpp + SillyTavern
El tutorial sobre como instalar SillyTavern en Android puede leerlo [AQUÍ](https://rentry.org/STAI-Termux)
**[Local]** ...y poner la IP de la dirección local de Koboldcpp (Ejemplo: http://localhost:5001). Esto si se ha ejecutado junto con koboldcpp.
Ingresar a la carpeta de SillyTavern en paralelo iniciando otra sesión en Termux y ejecutar el siguiente comando:
```bash
./start.sh --disableCsrf
```
**[OnLine]** ...o crea una cuenta en en la página Open AI / Horde y coloca la clave API. Intente tomar la clave API en los siguientes enlaces: [OpenAI](https://platform.openai.com/account/api-keys) o [Horde AI](https://horde.koboldai.net/register)
**Nota:** *Para actualizar SillyTavern simplemente ingrese a su carpeta y escriba el comando:*
```bash
git pull
```
## Mis bots para Koboldcpp / SillyTavern
Cuento con una buena cantidad de bots, la mayoría en castellano. Puede encontrarlos [AQUÍ](https://chub.ai/users/Novaciano).
## Usarlo con llama.cpp (Si tenés una PC decente)
Instale llama.cpp a través de brew (funciona en Mac y Linux)
```bash
brew install llama.cpp
```
Invoque el Servidor llama.cpp o la CLI.
**CLI:**
```bash
llama-cli --hf-repo Novaciano/Llama-3.2-1b_NOVA_Anal.Sent_y_Sin.Cen_V1_GGUF --hf-file Llama3.2-1b_NOVA_Anal.Sent_y_Sin.Cen_V1.gguf -p "Argentina va a superar su crisis financiera cuando"
```
**SERVIDOR:**
```bash
llama-server --hf-repo Novaciano/Llama-3.2-1b_NOVA_Anal.Sent_y_Sin.Cen_V1_GGUF --hf-file Llama3.2-1b_NOVA_Anal.Sent_y_Sin.Cen_V1.gguf -c 2048
```
**Nota:** *También puede utilizar este punto de control directamente a través de los [Pasos de uso](https://github.com/ggerganov/llama.cpp?tab=readme-ov-file#usage) incluido en el repositorio Llama.cpp.*
**Paso 1:** Clonar llama.cpp desde GitHub.
```
git clone https://github.com/ggerganov/llama.cpp
```
**Paso 2:** Vaya a la carpeta llama.cpp y constrúyalo con bandera `LLAMA_CURL=1` junto con otras banderas específicas del hardware (por ejemplo: LLAMA_CUDA=1 para GPUs Nvidia en Linux).
```
cd llama.cpp && LLAMA_CURL=1 make
```
**Paso 3:** Ejecutar la inferencia a través del binario principal.
```
./llama-cli --hf-repo Novaciano/Llama-3.2-1b_NOVA_Anal.Sent_y_Sin.Cen_V1_GGUF --hf-file Llama3.2-1b_NOVA_Anal.Sent_y_Sin.Cen_V1.gguf -p "Argentina va a superar su crisis financiera cuando"
```
o también con
```
./llama-server --hf-repo Novaciano/Llama-3.2-1b_NOVA_Anal.Sent_y_Sin.Cen_V1_GGUF --hf-file Llama3.2-1b_NOVA_Anal.Sent_y_Sin.Cen_V1.gguf -c 2048
```