Update app.py

app.py

@@ -1,55 +1,42 @@
 import torch
 from transformers import AutoModelForCausalLM, AutoTokenizer
 
-# Modellname für die kleinere Variante
-model_name = "Qwen/Qwen2.5-Math-1.5B-Instruct"
-
-# Überprüfen, ob eine GPU verfügbar ist
+model_name = "Qwen/Qwen2.5-Math-7B-Instruct"
 device = "cuda" if torch.cuda.is_available() else "cpu"
 
 # Modell und Tokenizer laden
-try:
-    print("Lade Modell und Tokenizer...")
-    model = AutoModelForCausalLM.from_pretrained(
-        model_name,
-        device_map="auto",  # Modell auf verfügbare Geräte verteilen
-        low_cpu_mem_usage=True,  # Versucht, den Speicherverbrauch zu reduzieren
-        trust_remote_code=True,
-        torch_dtype=torch.float16  # Reduziert den Speicherverbrauch
-    ).to(device).eval()
-
-    tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
-    print("Modell und Tokenizer geladen.")
-except Exception as e:
-    print(f"Fehler beim Laden des Modells: {e}")
+model = AutoModelForCausalLM.from_pretrained(
+    model_name,
+    device_map="auto",
+    low_cpu_mem_usage=True,
+    torch_dtype=torch.float16,
+    trust_remote_code=True
+).eval()
 
-# Eingabe für das Gesprächsmodell erstellen
+tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
+
+# Eingabe vorbereiten
 chat = [
     {"role": "system", "content": "Please reason step by step, and put your final answer within \\boxed{}."},
     {"role": "user", "content": "Janet’s ducks lay 16 eggs per day. She eats three for breakfast every morning and bakes muffins for her friends every day with four. She sells the remainder at the farmers' market daily for $2 per fresh duck egg. How much in dollars does she make every day at the farmers' market?"}
 ]
 
-# Vorbereitung des Eingabeformats
-try:
-    conversation_str = tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=False)
-    inputs = tokenizer(conversation_str, return_tensors="pt", padding=True, truncation=True)
-    print("Eingabe vorbereitet.")
-except Exception as e:
-    print(f"Fehler bei der Eingabevorbereitung: {e}")
+# Vorbereiten der Eingabe
+conversation_str = tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=False)
+
+input_ids = tokenizer.encode(conversation_str, return_tensors="pt", add_special_tokens=False).to(device)
+
+# attention_mask erstellen
+attention_mask = (input_ids != tokenizer.pad_token_id).long()
 
 # Inferenz durchführen
 try:
     with torch.no_grad():
         outputs = model.generate(
-            input_ids=inputs["input_ids"].to(device), 
-            max_length=50  # Versuche mit einer kleineren Länge
+            input_ids=input_ids,
+            max_new_tokens=100,  # Passe dies an, je nach Bedarf
+            attention_mask=attention_mask
         )
-    print("Inferenz abgeschlossen.")
+    print("Antwort generiert:", tokenizer.decode(outputs[0], skip_special_tokens=True))
 except Exception as e:
     print(f"Fehler bei der Inferenz: {e}")
-
-# Ausgabe anzeigen
-try:
-    print("Ausgabe: ", tokenizer.decode(outputs[0], skip_special_tokens=True))
-except Exception as e:
-    print(f"Fehler bei der Ausgabe: {e}")