Spaces:
Running
Running
File size: 741 Bytes
54dbd2f 03c48e3 54dbd2f 03c48e3 54dbd2f 03c48e3 54dbd2f 03c48e3 54dbd2f |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 |
# Chọn image cơ bản
FROM ubuntu:22.04
# Cài đặt thư viện cần thiết
RUN apt-get update && apt-get install -y \
unzip wget curl python3 python3-pip
# Sao chép binary LLaMA đã build vào container
COPY llama_bin.zip /app/llama_bin.zip
WORKDIR /app
# Giải nén binaries
RUN unzip llama_bin.zip && rm llama_bin.zip && chmod +x bin/server
# Tạo thư mục models
RUN mkdir -p /models
# Tải mô hình Qwen2.5-0.5B-Instruct-GGUF
RUN wget -O /models/qwen2.5-0.5b-instruct-q5_k_m.gguf \
https://huggingface.co/Qwen/Qwen2.5-0.5B-Instruct-GGUF/resolve/main/qwen2.5-0.5b-instruct-q5_k_m.gguf
# Chạy server với mô hình Qwen
CMD ["./bin/server", "-m", "/models/qwen2.5-0.5b-instruct-q5_k_m.gguf", "-p", "8000"]
|