Update app.py

app.py

@@ -46,14 +46,13 @@ def load_model():
     tokenizer = AutoTokenizer.from_pretrained(model_id)
     model = AutoModelForCausalLM.from_pretrained(
         model_id,
-        device_map="auto",  # 🧠 Otomatis ke GPU jika tersedia
-        torch_dtype=torch.float16
+        device_map="auto",  # ✅ Otomatis ke GPU
+        torch_dtype=torch.float16  # Ganti ke bfloat16 jika float16 bermasalah
     )
     pipe = pipeline(
         "text-generation",
         model=model,
         tokenizer=tokenizer,
-        device=0 if torch.cuda.is_available() else -1,
         max_new_tokens=512,
         temperature=0.7,
         repetition_penalty=1.2,
@@ -67,13 +66,10 @@ def generate_prompt(user_message, context_data):
     prompt = f"""
 ### SISTEM:
 Anda adalah asisten HRD yang membantu karyawan memahami administrasi perusahaan. Jawablah dengan Bahasa Indonesia yang profesional dan ramah. Jika tidak tahu, katakan tidak tahu dengan sopan. Jangan jawab dalam bahasa Inggris.
-
 ### DATA:
 {context_data}
-
 ### PERTANYAAN:
 {user_message}
-
 ### JAWABAN:
 """
     return prompt.strip()