Data type : F32 vs BF16

#1
by GuillaumeGrosjean - opened

Le modèle d'origine Qwen2.5-14B est entraîné en BF16.
legml-v0.1 est disponible en FP32.

Y a-t-il un risque de perte de performance en chargeant legml-v0.1 en FP16 / BF16 ?
Y a-t-il une raison matérielle ou de performance qui explique de repasser à FP32 pour l'entraînement de legml-v0.1 ?

Je me faisais la même remarque. Et au-delà du format, il manque le benchmark FR de Qwen2.5-14B-instruct pour pouvoir vraiment le comparer à legml-v0.1 ...

This comment has been hidden
legml.ai org

@GuillaumeGrosjean Merci pour cette observation. Nous en avons tenu compte et nous intégrerons le support du fp16 dans les versions futures.

malhajar changed discussion status to closed
legml.ai org

@konilse Nous avons essayé de rattraper notre retard dans les évaluations. Cependant, les récents retards sont dus à un manque de GPU que l'on nous a promis de résoudre au cours de cette semaine.

Sign up or log in to comment