Spaces:
Runtime error
Runtime error
Update app.py
Browse files
app.py
CHANGED
@@ -9,7 +9,8 @@ models = {
|
|
9 |
"microsoft/Phi-3.5-vision-instruct",
|
10 |
trust_remote_code=True,
|
11 |
torch_dtype=torch.float32, # CPU üzerinde çalıştığı için float32 kullanılıyor
|
12 |
-
device_map=
|
|
|
13 |
).eval()
|
14 |
}
|
15 |
|
|
|
9 |
"microsoft/Phi-3.5-vision-instruct",
|
10 |
trust_remote_code=True,
|
11 |
torch_dtype=torch.float32, # CPU üzerinde çalıştığı için float32 kullanılıyor
|
12 |
+
device_map="auto", # FlashAttention2 kontrolünü devre dışı bırakır
|
13 |
+
low_cpu_mem_usage=True # Daha az bellek kullanımı sağlar
|
14 |
).eval()
|
15 |
}
|
16 |
|