naprawa literówki

8-bitowa kwantyzacja

lepsze logowanie błędów, timeout zwiększony do 120s

Zwiększyliśmy timeout dla TextIteratorStreamer do 60 sekund.

poprawki

Zamiast używać InferenceClient, ładujemy model lokalnie za pomocą AutoModelForCausalLM i AutoTokenizer.

dodany InferenceClient

Usunęliśmy globalną zmienną pipeline. Stworzyliśmy funkcję create_pipeline(), która tworzy pipeline za każdym razem, gdy jest potrzebny.

Usunięto inicjalizację pipeline'u przy starcie aplikacji. Dodano lazy loading dla pipeline'u w funkcji generate_response()

dodano accelerate i lepsze logowanie błędów

dodany token

pierwszy commit

initial commit