OpenAI affiche des rendements décroissants avec la sortie décevante de GPT-4.5
-
GPT-4.5 offre des gains marginaux en termes de capacité et de mauvaises performances de codage malgré un coût 30 fois supérieur.
Le verdict est tombé : le modèle d’IA traditionnel le plus récent et le plus performant d’OpenAI, GPT-4.5, est grand, coûteux et lent, offrant des performances légèrement supérieures à celles de GPT-4o, avec un coût d’entrée 30 fois supérieur et un coût de sortie 15 fois supérieur. Le nouveau modèle semble prouver que les rumeurs de longue date sur les rendements décroissants de la formation des LLM d’apprentissage non supervisé étaient correctes et que les soi-disant « lois d’échelle scaling laws » citées par beaucoup depuis des années ont peut-être trouvé leur fin naturelle.
Un expert en IA qui a requis l’anonymat a déclaré à Ars Technica : « GPT-4.5 est un citron ! » en comparant ses performances déclarées à son prix considérablement augmenté, tandis que Gary Marcus, critique fréquent d’OpenAI, a qualifié la sortie de « rien de rose » dans un article de blog (bien que pour être juste, Marcus semble également penser que la plupart de ce que fait OpenAI est surestimé).
L’ancien chercheur d’OpenAI, Andrej Karpathy , a écrit sur X que GPT-4.5 est meilleur que GPT-4o, mais d’une manière subtile et difficile à exprimer. « Tout est un peu mieux et c’est génial », a-t-il écrit, « mais pas non plus exactement d’une manière remarquable. »
OpenAI est bien conscient de ces limites, et il a pris des mesures pour atténuer la déception potentielle en présentant le lancement comme un « aperçu de la recherche » relativement discret pour les utilisateurs de ChatGPT Pro et en précisant les limites du modèle dans un article de version GPT-4.5 release post publié jeudi.
« GPT-4.5 est un modèle très grand et gourmand en calcul, ce qui le rend plus cher et ne le remplace pas », a écrit la société. « Pour cette raison, nous évaluons s’il faut continuer à le servir dans l’API à long terme, car nous équilibrons le soutien des capacités actuelles avec la construction de modèles futurs. »
Selon les résultats de référence d’OpenAI, GPT-4.5 a obtenu un score nettement inférieur à celui des modèles de raisonnement simulé d’OpenAI ( o1 et o3 ) sur des tests tels que les compétitions de mathématiques AIME et les évaluations scientifiques GPQA, GPT-4.5 n’obtenant qu’un score de 36,7 % sur AIME contre 87,3 % pour o3-mini. De plus, GPT-4.5 coûte cinq fois plus cher que o1 et plus de 68 fois plus cher que o3-mini pour le traitement des entrées.
Et GPT-4.5 est terrible pour le codage, relativement parlant, avec une date limite de connaissances en octobre 2023 qui pourrait laisser de côté les connaissances sur les mises à jour des cadres de développement.
GPT-4.5 est si massif et inefficace que Sam Altman d’OpenAI a également écrit sur X que la société aurait aimé publier GPT-4.5 pour tout le monde, mais que la société est « à court de GPU ». D’autres sont en route, a-t-il déclaré.
Peut-être en raison des résultats décevants, Altman avait précédemment écrit que GPT-4.5 serait le dernier des modèles d’IA traditionnels d’OpenAI, GPT-5 étant prévu pour être une combinaison dynamique de LLM « non raisonnants » et de modèles de raisonnement simulé comme o3.
GPT-4.5 est maintenant disponible pour les abonnés ChatGPT Pro, avec un déploiement prévu pour les abonnés Plus et Team la semaine prochaine, suivis par les clients Enterprise et Education la semaine suivante. Les développeurs peuvent y accéder via les différentes API d’OpenAI sur les niveaux payants, bien que la société ne soit pas certaine de sa disponibilité à long terme.
Source et plus: https://arstechnica.com/ai/2025/02/its-a-lemon-openais-largest-ai-model-ever-arrives-to-mixed-reviews/
