Utiric commited on
Commit
2dacd49
·
verified ·
1 Parent(s): 6c90e3e

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +2 -1
app.py CHANGED
@@ -9,7 +9,8 @@ models = {
9
  "microsoft/Phi-3.5-vision-instruct",
10
  trust_remote_code=True,
11
  torch_dtype=torch.float32, # CPU üzerinde çalıştığı için float32 kullanılıyor
12
- device_map=None # GPU kullanımını devre dışı bırakır
 
13
  ).eval()
14
  }
15
 
 
9
  "microsoft/Phi-3.5-vision-instruct",
10
  trust_remote_code=True,
11
  torch_dtype=torch.float32, # CPU üzerinde çalıştığı için float32 kullanılıyor
12
+ device_map="auto", # FlashAttention2 kontrolünü devre dışı bırakır
13
+ low_cpu_mem_usage=True # Daha az bellek kullanımı sağlar
14
  ).eval()
15
  }
16