Spaces:
Running
Running
File size: 862 Bytes
03c48e3 65896e1 03c48e3 65896e1 03c48e3 65896e1 f1ba66f 03c48e3 f1ba66f 03c48e3 8fda188 930185a 65896e1 8fda188 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 |
FROM ubuntu:22.04
# Cài đặt công cụ và thư viện cơ bản
RUN apt-get update && apt-get install -y \
unzip wget curl libgcc-s1 libstdc++6 \
&& rm -rf /var/lib/apt/lists/*
WORKDIR /app
# Sao chép và giải nén binary
COPY llama_bin.zip /app/llama_bin.zip
RUN unzip llama_bin.zip && rm llama_bin.zip && chmod +x bin/*
ENV LD_LIBRARY_PATH=/app/bin:$LD_LIBRARY_PATH
# Tạo thư mục và tải mô hình trong build time, đảm bảo quyền
RUN mkdir -p /models && \
wget -O /models/qwen2.5-0.5b-instruct-q5_k_m.gguf https://huggingface.co/Qwen/Qwen2.5-0.5B-Instruct-GGUF/resolve/main/qwen2.5-0.5b-instruct-q5_k_m.gguf && \
chmod -R 777 /models
# Dùng cổng 3000 cho Spaces
EXPOSE 3000
# Chạy llama-server
CMD ["./bin/llama-server", "-m", "/models/qwen2.5-0.5b-instruct-q5_k_m.gguf", "--host", "0.0.0.0", "--port", "3000"] |