File size: 598 Bytes
bb2fb4d
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
ceca8d9
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
# Où stocker les modèles dans le conteneur
MODELS_DIR=/models

# Modèle actif au boot (si le fichier existe déjà) — peut rester vide
#MODEL_PATH=/models/gemma-3-270m-it-Q4_K_M.gguf
MODEL_PATH=

# Auto-load si le fichier manque :
AUTO_REPO_ID=unsloth/gemma-3-270m-it-GGUF
AUTO_FILENAME=gemma-3-270m-it-Q8_0.gguf
AUTO_IF_MISSING=true     # ne télécharge que si MODEL_PATH (ou /models/<AUTO_FILENAME>) est absent
AUTO_PRELOAD=false       # si true, charge en mémoire au démarrage (sinon lazy)

# Inference
N_THREADS=8
N_CTX=4096
N_BATCH=256
N_GPU_LAYERS=0

# Réseau
HOST=0.0.0.0
PORT=7860