Yann LeCun, l'un des meilleurs chercheurs en IA de Meta et l'un des plus grands scientifiques mondiaux dans ce domaine, quitte l'entreprise, estimant que les grands modèles de langage (LLM) sont une impasse

[Raccoon]

Yann LeCun, l’un des meilleurs chercheurs en IA de Meta et l’un des plus grands scientifiques mondiaux dans ce domaine, quitte l’entreprise, estimant que les grands modèles de langage (LLM) sont une impasse.

Un rapport a révélé que Yann LeCun, l’une des figures les plus influentes du monde de l’intelligence artificielle et scientifique en chef de Meta, serait sur le point de démissionner. Pionnier du deep learning et figure de proue de la recherche en IA, Yann LeCun serait sur le point de partir en raison d’un désaccord fondamental avec l’intérêt actuel de l’industrie pour les grands modèles de langage (LLM), qu’il considère comme une « impasse » pour atteindre une véritable intelligence humaine.

Les systèmes d’IA actuels se heurtent à des limites majeures dans l’automatisation du travail. Pour certains, cela est lié à leur incapacité à apprendre en continu comme le font les humains. Yann LeCun, responsable de l’IA chez Meta, a déclaré que les grands modèles de langage (LLM) actuels n’atteindront pas l’intelligence humaine et ne conduiront pas l’intelligence artificielle générale (AGI). Leur incapacité à construire un contexte, apprendre à partir de retours d’information ou s’améliorer au fil du temps comme le font les employés humains remettent en causes les discours enthousiastes selon lesquels l’AGI arrivera à la fin de la décennie, voire plus tôt.

Yann André Le Cun, généralement orthographié LeCun, est un informaticien franco-américain qui travaille principalement dans les domaines de l’apprentissage automatique, de la vision par ordinateur, de la robotique mobile et des neurosciences computationnelles. Il est scientifique en chef en intelligence artificielle (IA) chez Meta. En 2018, LeCun, Yoshua Bengio et Geoffrey Hinton ont reçu le prix Turing pour leurs travaux sur l’apprentissage profond. Les trois hommes sont parfois appelés les « parrains de l’IA » et les « parrains de l’apprentissage profond ».

Récemment, un rapport a révélé que Yann LeCun, l’une des figures les plus influentes du monde de l’intelligence artificielle et scientifique en chef de Meta, serait sur le point de démissionner. Pionnier du deep learning et figure de proue de la recherche en IA, Yann LeCun serait sur le point de partir en raison d’un désaccord fondamental avec l’intérêt actuel de l’industrie pour les grands modèles de langage (LLM), qu’il considère comme une « impasse » pour atteindre une véritable intelligence humaine. Yann LeCun prône plutôt un changement révolutionnaire vers les « modèles de monde » (world model).

À 65 ans, Yann LeCun jouit d’un statut d’éminent spécialiste au sein de la communauté de l’IA, ayant bénéficié de vastes ressources au sein de la division « recherche fondamentale en IA » de Meta. Sa démission imminente, corroborée par plusieurs rapports crédibles, intervient à un moment où Meta, comme de nombreux géants de la technologie, investit massivement dans l’IA, recrute les meilleurs talents et, selon le PDG Mark Zuckerberg, se rapproche même de la « superintelligence ».

Cependant, LeCun laisse depuis longtemps entendre son scepticisme. Il est devenu célèbre pour ses critiques à l’égard des architectures LLM actuelles, déclarant dès avril dernier qu’« un LLM est fondamentalement une sortie de secours, une distraction, une impasse ». Cette position a suscité une certaine controverse, des critiques comme Gary Marcus soulignant un revirement apparent après que LeCun ait précédemment défendu les LLM. Néanmoins, la conviction de LeCun est claire : le simple fait d’augmenter la taille des LLM existants ne permettra pas d’obtenir une véritable intelligence.

<iframe class=“restrain” title=“YouTube video player” width=“560” height=“315” allowfullscreen=“” src=“

” frameborder=“0”></iframe>

Une analyse récente suggère que des dynamiques internes potentielles ont contribué à la décision de LeCun. L’été dernier, Alexandr Wang, 28 ans, co-créateur du ChatGPT, une application basée sur le LLM, a été nommé responsable de l’IA chez Meta, devenant ainsi le supérieur hiérarchique de LeCun. De plus, Shengjia Zhao, un autre scientifique en chef relativement jeune vantant les « percées » en matière de mise à l’échelle, a rejoint Meta cette année, au-dessus de LeCun. Ces nominations soulignent un pivot stratégique au sein de Meta vers les approches de mise à l’échelle LLM auxquelles LeCun a perdu confiance. Le fonctionnement de l’IA chez Meta est décrit comme ayant un organigramme excentrique, composé de plusieurs groupes distincts, qui a vu des centaines de licenciements le mois dernier dans le cadre d’un effort de rationalisation.

[…]

Article complet : developpez.com

[duJambon]

Une impasse ? C’est peut-être un peu exagéré pour certaines tâches, genre résumé, traduction ou correction, mais le cout réel n’est surement pas rentable pour le moment. On profite de la folie bêtise, de la naïveté des investisseurs et de la récolte de données, mais jusqu’à quand ?

C’est clair que s’il parle en terme d’intelligence, les LLM sont carrément à côté de la plaque.