Data type : F32 vs BF16
#1
by
GuillaumeGrosjean
- opened
Le modèle d'origine Qwen2.5-14B est entraîné en BF16.
legml-v0.1 est disponible en FP32.
Y a-t-il un risque de perte de performance en chargeant legml-v0.1 en FP16 / BF16 ?
Y a-t-il une raison matérielle ou de performance qui explique de repasser à FP32 pour l'entraînement de legml-v0.1 ?
Je me faisais la même remarque. Et au-delà du format, il manque le benchmark FR de Qwen2.5-14B-instruct pour pouvoir vraiment le comparer à legml-v0.1 ...
This comment has been hidden
@GuillaumeGrosjean Merci pour cette observation. Nous en avons tenu compte et nous intégrerons le support du fp16 dans les versions futures.
malhajar
changed discussion status to
closed