Dockerfile

FROM ubuntu:22.04

# Cài đặt công cụ và thư viện cơ bản
RUN apt-get update && apt-get install -y \
    unzip wget curl libgcc-s1 libstdc++6 \
    && rm -rf /var/lib/apt/lists/*

WORKDIR /app

# Sao chép và giải nén binary
COPY llama_bin.zip /app/llama_bin.zip
RUN unzip llama_bin.zip && rm llama_bin.zip && chmod +x bin/*

ENV LD_LIBRARY_PATH=/app/bin:$LD_LIBRARY_PATH

# Tải mô hình trong runtime thay vì build time
RUN mkdir -p /models
CMD ["sh", "-c", "wget -O /models/qwen2.5-0.5b-instruct-q5_k_m.gguf https://huggingface.co/Qwen/Qwen2.5-0.5B-Instruct-GGUF/resolve/main/qwen2.5-0.5b-instruct-q5_k_m.gguf && ./bin/llama-server -m /models/qwen2.5-0.5b-instruct-q5_k_m.gguf --host 0.0.0.0 --port 3000"]

# Dùng cổng 3000 cho Spaces
EXPOSE 3000