Actualités High-Tech

1.7k Sujets 8.7k Messages
  • 0 Votes
    1 Messages
    75 Vues

    Dolly est un modèle d’IA gratuit et open source de type ChatGPT

    Dolly 2.0 pourrait déclencher une nouvelle vague de LLM entièrement open source similaire à ChatGPT.

    Mercredi, Databricks a publié Dolly 2.0, qui serait le premier modèle de langage large (LLM) open source suivant les instructions à usage commercial qui a été affiné sur un ensemble de données générées par l’homme. Cela pourrait servir de point de départ convaincant pour les concurrents homebrew ChatGPT.

    Databricks est une société américaine de logiciels d’entreprise fondée en 2013 par les créateurs d’ Apache Spark . Ils fournissent une plate-forme Web pour travailler avec Spark pour le Big Data et l’apprentissage automatique. En publiant Dolly, Databricks espère permettre aux organisations de créer et de personnaliser des LLM “sans payer pour l’accès à l’API ni partager de données avec des tiers”, selon le blog de lancement de Dolly .

    Dolly 2.0, son nouveau modèle de 12 milliards de paramètres, est basé sur la famille de modèles pythia d’EleutherAI et affiné exclusivement sur des données de formation (appelées “databricks-dolly-15k”) provenant des employés de Databricks. Ce calibrage lui donne des capacités plus conformes au ChatGPT d’OpenAI, qui est meilleur pour répondre aux questions et engager le dialogue en tant que chatbot qu’un LLM brut qui n’a pas été affiné.

    Dolly 1.0, sorti en mars, était confronté à des limitations concernant l’utilisation commerciale en raison des données de formation, qui contenaient la sortie de ChatGPT (grâce à Alpaca ) et étaient soumises aux conditions d’utilisation d’OpenAI. Pour résoudre ce problème, l’équipe de Databricks a cherché à créer un nouvel ensemble de données qui permettrait une utilisation commerciale.

    Pour ce faire, Databricks a organisé 13 000 démonstrations de comportement de suivi des instructions de la part de plus de 5 000 de ses employés entre mars et avril 2023. Pour inciter à la participation, ils ont organisé un concours et décrit sept tâches spécifiques pour la génération de données, y compris les questions-réponses ouvertes, les questions-réponses fermées. , extraction et synthèse d’informations de Wikipédia, brainstorming, classification et écriture créative.

    L’ensemble de données résultant, ainsi que les poids du modèle et le code de formation de Dolly, ont été publiés entièrement en open source sous une licence Creative Commons , permettant à quiconque d’utiliser, de modifier ou d’étendre l’ensemble de données à n’importe quelle fin, y compris des applications commerciales.

    En revanche, ChatGPT d’OpenAI est un modèle propriétaire qui oblige les utilisateurs à payer pour l’accès à l’API et à respecter des conditions de service spécifiques, ce qui limite potentiellement la flexibilité et les options de personnalisation pour les entreprises et les organisations. de Meta Le LLaMA , un modèle partiellement open source (avec des poids restreints) qui a récemment engendré une vague de produits dérivés après la fuite de ses poids sur BitTorrent, ne permet pas une utilisation commerciale.

    Sur Mastodon, le chercheur en intelligence artificielle Simon Willison a qualifié Dolly 2.0 de “très important”. Willison expérimente souvent des modèles de langage open source, dont Dolly . “L’une des choses les plus excitantes à propos de Dolly 2.0 est le jeu d’instructions de réglage fin, qui a été fabriqué à la main par 5 000 employés de Databricks et publié sous une licence CC”, a écrit Willison dans un toot Mastodon.

    Si la réaction enthousiaste au seul modèle LLaMA partiellement ouvert de Meta est une indication, Dolly 2.0 pourrait potentiellement déclencher une nouvelle vague de modèles de langage open source qui ne sont pas entravés par des limitations propriétaires ou des restrictions d’utilisation commerciale. réelle de Dolly soit encore connue Bien que la capacité de performance , d’autres améliorations pourraient permettre d’exécuter des LLM raisonnablement puissants sur des machines grand public locales.

    “Même si Dolly 2 n’est pas bon, je pense que nous verrons bientôt un tas de nouveaux projets utilisant ces données de formation”, a déclaré Willison à Ars. “Et certains d’entre eux pourraient produire quelque chose de vraiment utile.”

    Actuellement, les datas de Dolly sont disponibles sur Hugging Face, et l’ensemble de données databricks-dolly-15k se trouve sur GitHub.

    Source: https://arstechnica.com/information-technology/2023/04/a-really-big-deal-dolly-is-a-free-open-source-chatgpt-style-ai-model/

  • 2 Votes
    1 Messages
    62 Vues

    Les smartphones dont nous faisons l’usage quotidien ont un impact sur l’environnement et notre vie privée. Comment construire une politique européenne d’éthique et de souveraineté numérique ?

    Les smartphones sont devenus indispensables à nos vies : 2 Français sur 3 s’en servent quotidiennement, pour téléphoner, mais aussi pour s’orienter, se connecter à travers les réseaux sociaux, prendre des photos… La dernière édition du Mobile World Congress l’a encore démontré : l’heure est à la course effrénée à l’innovation technologique, sans questionnement sur les limites planétaires. Appareils photos avec un nombre de pixels toujours plus élevé (même si l’œil humain ne fait pas la différence), recharge plus rapide, modèles pliables ou déroulants : sommes-nous dans l’ère du gadget ?

    Et cette surenchère a un prix : ses conséquences sur l’environnement et sur notre vie privée, entre autres. Au-delà de la performance, des fonctionnalités et du prix, quels critères devraient nous guider dans le choix de nos smartphones ? Comment redéfinir nos besoins pour nous tourner vers des appareils capables d’y répondre véritablement ?

    Des smartphones de plus en plus performants… mais à quel prix ?

    Malgré la “course à l’échalote” du meilleur smartphone, d’autres préoccupations commencent heureusement à émerger au niveau de l’utilisateur. L’impact environnemental, d’une part : l’empreinte carbone de nos appareils, aux durées de vie toujours plus courtes, s’alourdit d’autant plus si l’on prend en compte l’ensemble des scopes, de la conception à la fin de vie en passant par l’extraction de la ressource, l’assemblage et les multiples transports. Certains constructeurs sont plus attentifs à leur chaîne de valeur, et à l’allongement de la durée de vie de l’appareil via sa réparabilité, par exemple, comme le néerlandais Fairphone, mais ils font encore office d’ovnis dans leur secteur.

    Et que dire de la problématique de la protection des données personnelles ? : le sujet de leur collecte et de leur usage par des tiers, sans que l’on en ait seulement connaissance, prend de l’ampleur. À l’heure où 86% des Français souhaitent être accompagnés pour mieux protéger leurs données en ligne, l’enjeu de la souveraineté numérique devient crucial. Car au-delà du problème individuel de la fuite des données, nous faisons face à un véritable sujet de géostratégie européenne : le traçage des activités en ligne concerne tous nos supports, privés et publics, et devrait nous alerter sur l’urgence de mettre en place des outils souverains capables de garantir la confidentialité de nos échanges numériques. Et les deux sujets vont de pair :  comment choisir en toute liberté un smartphone qui protège les données de l’utilisateur si l’arsenal législatif mis en place au niveau macro-étatique n’est pas à la hauteur ?

    Repenser les usages ne signifie pas renoncer

    Nous sommes à l’heure des choix. Si l’on veut enfin prendre en compte des critères écologiques et éthiques lors de l’achat de nos smartphones, des solutions existent déjà et les bénéfices sont nombreux. Le logiciel libre, d’une part, constitue une première réponse pour assurer la transparence et la sécurité des données. D’autre part, l’empreinte carbone des smartphones sera réduite si les données personnelles des utilisateurs ne sont pas tracées en permanence : cette pollution numérique (la collecte des données et son stockage dans des datacenters) est une bombe écologique, qui compte déjà pour 2,5% des émissions de GES à l’échelle nationale, selon la dernière étude ADEME-ARCEP sortie en mars 2023. Et les prévisions sont à la hausse : le poids de l’empreinte carbone du numérique en France devrait augmenter de 45% d’ici 2030, et pourrait même tripler d’ici à 2050 si des mesures de réduction ne sont pas prises dès maintenant.

    Un compromis entre les performances et les critères écologiques et éthiques est évidemment possible. Il nous appartient de faire évoluer la désirabilité des offres en vue de promouvoir des modèles en adéquation avec nos besoins, et qui respectent les limites planétaires ainsi que l’homme derrière la machine. Cela ne pourra se faire sans une véritable politique coordonnée au niveau européen pour que l’éthique et la transparence deviennent les deux chantiers majeurs de la téléphonie de demain, et puissent à leur tour entraîner l’activité économique dans une logique de souveraineté numérique globale.

    Source : https://www.journaldunet.com/ebusiness/telecoms-fai/1521217-ethique-du-smartphone-pour-une-politique-europeenne-affirmee/

  • 0 Votes
    2 Messages
    33 Vues

    Il n’est pas bon d’être un jeune russe ces temps ci… Bon, je ne suis pas sûr qu’il soit bon d’être russe tout court depuis quelques années

  • 4 Votes
    3 Messages
    158 Vues

    Bonjour,
    il y a toujours Money de Microsoft qui, même si il n’est plus suivi depuis 2007, fonctionne très bien.

    https://www.windows8facile.fr/installer-microsoft-money-sur-windows-11/

  • 1 Votes
    1 Messages
    76 Vues

    Hello

    Je m’intéresse à la robotique de temps à autre sans être ultra assidu et il y a quelque temps j’avais découvert Ameca sur PW de la société Engineered Arts qui était déjà assez oufissime et il s’avère qu’ils viennent de l’intégrer à Chat GPT et le résultat est impressionnant.

    Engineered Arts montre comment le robot humanoïde se comporte lors d’une discussion. À chaque question de l’interlocuteur humain, le robot marque une très courte pause avant d’énoncer une réponse qui mêle les mots avec des expressions appropriées du visage. On retrouve les clignements rapides des yeux et toutes les petites expressions du visage qui viennent renforcer les émotions liées aux réponses.

    Les développeurs d’Ameca ont utilisé GPT-3, l’IA d’OpenAI pour les réponses, mais aussi pour y associer les expressions appropriées. L’équipe a également essayé d’utiliser la dernière version GPT-4 pour améliorer encore les résultats. Le temps de traitement plus long avait pour effet de rendre le robot moins réactif et donc la discussion moins spontanée. Dès novembre dernier, la société avait fait parler Ameca grâce à un synthétiseur qui dictait les réponses fournies par GPT3. Les expressions du visage restaient alors basiques.

    Dans les faits, le robot humanoïde répond effectivement quasi naturellement aux questions, comme si on posait soi-même des questions à ChatGPT, mais le plus intéressant, c’est évidemment d’observer son regard, sa moue et ses mouvements de la tête. Selon les questions, le robot exprime le dégoût ou la tristesse, et c’est ChatGPT qui se charge de transmettre le type d’émotion à exprimer. Comme lorsqu’on lui demande quel a été le jour le plus triste de sa vie, et qu’elle répond que c’est le jour où elle a pris conscience qu’elle « ne connaîtrait jamais quelque chose comme le véritable amour« , et c’est une « chose déprimante« . Mais Ameca précise : « Cela a façonné qui je suis maintenant et m’a fait apprécier encore plus les moments de proximité. »

    SOURCE 1, SOURCE2

  • 0 Votes
    10 Messages
    361 Vues
    "Google construit la première Intelligence Artificielle forte, capable de combiner plusieurs tâches"

    La belle affaire ! Ma femme arrive à faire plusieurs tâches contrairement à moi :colgate: et on s’en vante pas nous qui venont de Strasbourg en germany… hein @Pollux :loool:

  • 1 Votes
    1 Messages
    48 Vues

    Alors que la plupart des grands modèles de langage comme GPT-4 d’OpenAI sont pré-remplis avec des quantités massives d’informations, le prompt engineering optimise leurs performances en guidant efficacement les requêtes.

    https://images.itnewsinfo.com/lmi/articles/grande/000000091256.jpg
    Le métier de prompt engineer consiste à maîtriser les interactions pour obtenir les réponses les plus pertinentes. (Crédit : Emiliano Vittoriosi/Unsplash)

    L’une des raisons pour lesquelles les chatbots basés sur l’intelligence artificielle ont pris le monde d’assaut ces derniers mois est qu’ils peuvent générer ou affiner du texte à des fins diverses, qu’il s’agisse de créer une campagne publicitaire ou de rédiger un curriculum vitae. Ces assistants sont alimentés par des algorithmes de type large language model (LLM), qui peuvent imiter l’intelligence humaine et créer du contenu textuel ainsi que du son, de la vidéo, des images et du code informatique. Les LLM sont un type de modèle formé à partir d’un vaste ensemble d’articles, de livres ou de ressources basées sur l’internet et d’autres données afin de produire des réponses semblables à celles de l’homme à des entrées en langage naturel.

    Un nombre croissant d’entreprises IT ont dévoilé des outils d’IA générative basés sur les LLM pour une utilisation professionnelle afin d’automatiser les tâches. Par exemple, Microsoft a déployé pour un nombre limité d’utilisateurs un chatbot basé sur ChatGPT d’OpenAI ; il est intégré à Microsoft 365 et peut automatiser les fonctions des applications CRM et ERP. Autre exemple, Copilot de Microsoft 365 peut être utilisé dans Word pour créer une première version d’un document, ce qui permet d’économiser des heures de rédaction, de recherche et d’édition. Salesforce a également annoncé son intention de lancer un assistant basé sur GPT et destiné à être utilisé avec sa plateforme de gestion de la relation client.

    Exemple d’IA générative créant un code logiciel à partir d’une invite de l’utilisateur. Dans ce cas, EinsteinGPT de Salesforce est activé par l’utilisation du grand modèle linguistique GPT-3.5 d’OpenAI. (Crédit : Salesforce)

    La plupart des LLM, tels que le GPT-4 d’OpenAI, sont préformés en tant que moteurs de prédiction de mots suivants ou de contenu - c’est ainsi que la plupart des entreprises les utilisent, prêts à l’emploi, en quelque sorte. Et bien que les assistants basés sur les LLM aient produit leur part d’erreurs, les LLM pré-entraînés fonctionnent relativement bien pour fournir un contenu généralement précis et convaincant qui, au minimum, peut être utilisé comme point de départ.

    Des modèles propres aux besoins des secteurs d’activité

    De nombreux secteurs, cependant, nécessitent des algorithmes LLM plus personnalisés, qui comprennent leur jargon et produisent un contenu spécifique à leurs utilisateurs. Les modèles destinés au secteur de la santé, par exemple, ont besoin de traiter et d’interpréter des dossiers médicaux partagés, de suggérer des traitements ou de créer un résumé des soins de santé du patient sur la base des notes du médecin ou d’enregistrements vocaux. Un LLM spécialisé dans le secteur des services financiers doit être capable de résumer les appels de fonds, de restranscrire de réunions et effectuer des analyses sur la fraude pour protéger les consommateurs. Dans tous les secteurs, il peut être primordial de garantir un haut degré de précision des réponses.

    La plupart des LLM sont accessibles via une API qui offre à l’utilisateur de créer des paramètres ou des ajustements sur la manière dont le LLM répond. Une question ou une demande envoyée à un chatbot est appelée un prompt, dans la mesure où l’utilisateur requiert une réponse. Ces invites peuvent être des questions en langage naturel, des extraits de code ou des commandes, mais pour que le LMM fasse son travail avec précision, les invites doivent être pertinentes. Cette nécessité a donné naissance à une nouvelle compétence : prompt engineering.

    Prompt engineering ou ingénierie en requête, de quoi parle-t-on ?

    L’ingénierie en requête est le processus d’élaboration et d’optimisation des invites textuelles pour les grands modèles de langage afin d’obtenir les résultats souhaités. « Elle aide les LLM à effectuer des itérations rapides dans le cadre du prototypage et de l’exploration de produits, car elle adapte le LLM pour qu’il corresponde mieux à la définition de la tâche, rapidement et facilement », a déclaré Marshall Choy, vice-président senior des produits chez SambaNova Systems, une start-up de la Silicon Valley qui fabrique des semi-conducteurs pour l’intelligence artificielle (IA). Selon Eno Reyes, ingénieur en apprentissage automatique chez Hugging Face, une plateforme communautaire qui crée et accueille des LLM, le prompt engineering est en passe de devenir une compétence essentielle pour les professionnels de l’informatique et des affaires, ce qui est peut-être aussi important pour les utilisateurs.

    « De nombreuses personnes que je connais dans le domaine des logiciels, de l’informatique et du conseil utilisent le prompt engineering en permanence dans le cadre de leur travail personnel », a déclaré Eno Reyes. « Comme les LLM sont de plus en plus intégrés dans diverses industries, leur potentiel d’amélioration de la productivité est immense ». En s’appuyant sur l’ingénierie en requête, les utilisateurs professionnels peuvent optimiser les LLM pour effectuer leurs tâches spécifiques de manière plus efficace et plus précise, qu’il s’agisse d’assistance à la clientèle, de génération de contenu ou d’analyse de données, a déclaré Eno Reyes.

    Un domaine relativement nouveau à dompter

    Le LLM le plus connu à l’heure actuelle - le GPT-3 d’OpenAI - est à la base de ChatGPT, qui jouit d’une grande popularité. Le LLM GPT-3 fonctionne sur la base d’un modèle de 175 milliards de paramètres qui permet de générer du texte et du code informatique à l’aide de courtes instructions écrites. La dernière version d’OpenAI, GPT-4, est estimée à 280 milliards de paramètres, ce qui la rend beaucoup plus apte à produire des réponses précises. Outre le GPT LLM d’OpenAI, les plateformes d’IA générative les plus populaires comprennent des modèles ouverts tels que BLOOM et XLM-RoBERTa de Hugging Face, NeMO LLM de Nvidia, XLNet, Co:here et GLM-130B.

    L’ingénierie des invites étant une discipline naissante et émergente, les entreprises s’appuient sur des livrets et des guides d’invites pour garantir des réponses optimales de la part de leurs applications d’IA. On assiste même à l’émergence de places de marché pour les requêtes, comme les 100 meilleures requêtes pour ChatGPT. « Les gens vendent même des suggestions de requêtes », a déclaré Arun Chandrasekaran, vice-président analyste chez Gartner Research, ajoutant que la récente vague d’attention portée à l’IA générative a mis en lumière la nécessité d’améliorer la science des requêtes. « Il s’agit d’un domaine relativement nouveau », a-t-il déclaré. « Les applications d’IA générative s’appuient souvent sur des modèles d’IA géants auto-supervisés et, par conséquent, l’obtention de réponses optimales de leur part nécessite davantage de savoir-faire, d’essais et d’efforts supplémentaires. Je suis sûr qu’avec la maturité croissante, nous pourrions voir de meilleurs conseils et de meilleures pratiques de la part des créateurs de modèles d’IA sur les moyens efficaces de tirer le meilleur parti des modèles et des applications d’IA ».

    Une bonne entrée équivaut à une bonne sortie

    Le composant d’apprentissage automatique des LLM apprend automatiquement à partir des données fournies. Outre les données utilisées à l’origine pour créer un LLM, telles que GPT-4, OpenAI a créé ce que l’on appelle le Reinforcement Learning Human Feedback, dans lequel un être humain apprend au modèle à donner des réponses semblables à celles d’un être humain. Par exemple, un utilisateur posera une question au LLM et écrira la réponse idéale. Ensuite, l’utilisateur posera à nouveau la même question au modèle, qui lui proposera de nombreuses réponses différentes. S’il s’agit d’une question factuelle, on espère que la réponse restera la même ; s’il s’agit d’une question ouverte, l’objectif est de produire de multiples réponses créatives, semblables à celles d’un être humain.

    Si un utilisateur demande à ChatGPT de générer un poème sur une personne assise sur une plage à Hawaï, on s’attend à ce qu’il génère un poème différent à chaque fois. « Les formateurs humains classent les réponses de la meilleure à la pire », explique Arun Chandrasekaran. « Le modèle s’en sert pour s’assurer qu’il donne une réponse plus proche de l’humain ou la meilleure, tout en essayant de minimiser les réponses les plus mauvaises. Mais la manière dont vous formulez les questions a une incidence considérable sur les résultats que vous obtenez d’un modèle ». Les entreprises peuvent former un modèle GPT en ingérant des ensembles de données personnalisées internes à l’entreprise. Par exemple, elles peuvent prendre des données d’entreprise, les étiqueter et les annoter pour en améliorer la qualité, puis les intégrer dans le modèle GPT-4. Cela permet d’affiner le modèle afin qu’il puisse répondre à des questions spécifiques à cette organisation.

    Miser sur l’entraînement d’un marché vertical

    La mise au point peut également être spécifique à un secteur d’activité. On assiste déjà à l’émergence d’une industrie artisanale de start-ups qui utilisent le modèle GPT-4 et ingèrent un grand nombre d’informations spécifiques à un secteur vertical, tel que les services financiers. « Elles peuvent ingérer des informations de Lexus-Nexus et de Bloomberg, des informations de la SEC comme les rapports 8K et 10K. Mais le fait est que le modèle apprend beaucoup de langage ou d’informations très spécifiques à ce domaine », explique Arun Chandrasekaran. « Le réglage fin peut donc se faire soit au niveau de l’industrie, soit au niveau de l’organisation ».

    Par exemple, Harvey est une startup qui s’est associée à OpenAI pour créer ce qu’elle appelle un « copilote pour les avocats » ou une version de ChatGPT pour les professionnels du droit. Les avocats peuvent utiliser le chatbot personnalisé pour découvrir les précédents juridiques de certains juges afin de préparer leur prochaine affaire, a expliqué le consultant. « Je vois la valeur de la vente de requêtes non pas tant pour le langage que pour les images », ajoute Arun Chandrasekaran. « Il existe toutes sortes de modèles dans l’espace de l’IA générative, y compris des modèles texte-image ». Ainsi, un utilisateur peut demander à un modèle d’IA générative de produire l’image d’un guitariste jouant de la guitare sur la lune. « Je pense que le domaine texte-image est davantage mis en avant sur les marketplaces prompt », affirme M. Chandrasekaran.

    Hugging Face, un hub LLM à guichet unique

    Bien que Hugging Face crée certains de ses propres LLM, notamment BLOOM, le rôle principal de l’entreprise est d’être un hub pour les modèles d’apprentissage automatique de tiers, comme GitHub le fait pour le code. Hugging Face héberge actuellement plus de 100 000 modèles de machine learning, y compris une variété de LLM provenant de startups et de grandes entreprises technologiques. Au fur et à mesure que des modèles sont proposés en libre accès, ils sont généralement mis à disposition sur le hub, créant ainsi une destination unique pour les LLM émergents en libre accès. Pour affiner un LLM pour une entreprise ou un secteur spécifique à l’aide de Hugging Face, les utilisateurs peuvent exploiter les API Transformers et les bibliothèques Datasets de l’entreprise. Par exemple, dans les services financiers, un utilisateur peut importer un LLM pré-entraîné tel que Flan-UL2, charger un ensemble de données d’articles d’actualité financière et utiliser l’entraîneur Transformers pour affiner le modèle afin de générer des résumés de ces articles.

    Les intégrations avec AWS, DeepSpeed et Accelerate rationnalisent et optimisent l’entraînement. L’ensemble du processus peut être réalisé en moins de 100 lignes de code, selon Eno Reyes. L’API d’inférence de Hugging Face est un autre moyen de se lancer dans le prompt engineering. Il s’agit d’un simple point de terminaison de requête HTTP qui prend en charge plus de 80 000 modèles de transformeurs, selon M. Reyes. « Cette API permet aux utilisateurs d’envoyer des invites textuelles et de recevoir des réponses de modèles open-source sur notre plateforme, y compris les LLM », explique Eno Reyes. « Si vous voulez aller encore plus loin, vous pouvez envoyer du texte sans code en utilisant le widget d’inférence sur les modèles LLM dans le hub Hugging Face ».

    Apprentissage zero-shot et few-shot

    Le prompt engineering du LLM se présente généralement sous deux formes : l’apprentissage ou la formation zero-shot ou few-shot. L’apprentissage appelé zero-shot implique l’envoi d’une instruction simple en tant qu’invite qui produit une réponse attendue de la part du LLM. Il est conçu pour apprendre à un LLM à effectuer des tâches sans utiliser de données étiquetées pour ces tâches spécifiques. Il s’agit d’un apprentissage par renforcement.

    Inversement, l’apprentissage en quelques étapes utilise une petite quantité d’informations ou de données d’échantillon pour former le LLM aux réponses souhaitées. L’apprentissage few-shot se compose de trois éléments principaux. Tout d’abord, la description de la tâche : une brève description de ce que le modèle doit faire, par exemple « Traduire l’anglais en français ». Le deuxième élément concerne les exemples. Quelques exemples montrant au modèle ce qu’il doit faire, par exemple, « sea otter => loutre de mer ». Enfin, le troisième et dernier élément est la partie prompt : il peut s’agir du début d’un exemple, que le modèle doit compléter en générant le texte manquant, par exemple « cheese => ».

    Le prompt engineering, porte ouverte à utilisations malveillantes

    En réalité, peu d’entreprises disposent aujourd’hui de modèles d’entraînement personnalisés pour répondre à leurs besoins, car la plupart des modèles en sont encore à un stade précoce de développement, selon Arun Chandrasekaran de Gartner. Et bien que ces deux formes d’apprentissage puissent être utiles, le prompt engineering en tant que compétence est important, tant pour les utilisateurs IT que pour les métiers.

    La plupart des API proposent aux utilisateurs d’appliquer leurs propres techniques de prompt engineering. Chaque fois qu’un utilisateur envoie un texte à un LLM, il est possible d’affiner les requêtes pour obtenir des résultats spécifiques, indique Eno Reyes. « Cependant, cette flexibilité ouvre également la porte à des utilisations malveillantes, telles que l’injection d’invites », ajoute-t-il. « Des cas comme celui de Bing à Sydney (Microsoft) ont montré comment les gens pouvaient exploiter l’ingénierie des requêtes à des fins involontaires. En tant que domaine d’étude en plein essor, l’injection rapide dans les cas d’utilisation malveillante et le ‘red-teaming’ pour les tests d’intrusion seront cruciaux pour l’avenir, en garantissant l’utilisation responsable et sécurisée des LLM dans diverses applications ».

    Source : lemondeinformatique.fr

  • 2 Votes
    11 Messages
    216 Vues

    Le dernier qui m’a hacké a demandé à être remboursé! :mouhaha:

  • 3 Votes
    5 Messages
    112 Vues

    @7cf148fd a dit dans Une entreprise chinoise privée réussi un lancement du premier coup :

    Mais non on n’est pas comme ça. C’est de la saine compétition, il en faut!

    c’est pas méchant, c’est la réalité, la Chine est en train si ce n’est déjà fait de prendre la 1eme place mondiale

  • 3 Votes
    6 Messages
    140 Vues

    ouai on se fait bien baisé dans tous les sens.

  • 1 Votes
    4 Messages
    113 Vues

    De mon côté, je suis plutôt porté sur les board Hard Kernel que je trouve excellentes, ce sont de très bon produit.

    Faites y un tour ^^

    https://www.hardkernel.com/product/

  • 4 Votes
    2 Messages
    103 Vues

    Ce genre de pirate là, je veux bien les voir en taule.

  • 2 Votes
    1 Messages
    47 Vues

    Europol a encore fait le ménage dans le monde du hacking et de la vente de données piratés

    https://www.commentcamarche.net/securite/piratage/28027-genesis-market/

  • 0 Votes
    12 Messages
    111 Vues

    Oui en effet c’est ça recap de la semaine jeux vidéo tres bien fait merci ! Moi je trouvais bien sympa l’émission !

  • 4 Votes
    6 Messages
    137 Vues

    Ba après c’est comme tout, l’Open Source c’est bien mais il faut aussi et surtout utiliser des logiciels à jour. Et ça c’est valable que cela soit opensource ou propriétaire.

  • 2 Votes
    6 Messages
    227 Vues

    merci la NSA qui pousse derrière

  • 1 Votes
    1 Messages
    56 Vues

    Selon plusieurs sources la pub était dès le début présente dans les converations Bing Chat – mais les réclames ne s’affichaient pas chez tous les utilisateurs.

    Microsoft dévoile sur son blog son plan pour intégrer des publicités dans les conversations Bing Chat, son chatbot basé sur l’intelligence artificielle. Avec plus de 100 millions d’utilisateurs actifs quotidiens, cette évolution était attendue. L’entreprise a expliqué que les publicités apparaîtront dans les réponses du chatbot, tout comme dans les résultats de recherche traditionnels.

    En réalité, les publicités dans Bing Chat ne sont pas tout à fait une nouveauté. La firme teste différentes modalités d’implémentation depuis plusieurs semaines – mais celles-ci ne s’affichaient pas chez tous les utilisateurs. Seul un petit sous-ensemble des utilisateurs de Bing Chat les voient s’afficher. De notre côté nous avons beau avoir essayé de les afficher, les publicités restent pour l’instant absentes de nos conversations avec l’IA de Bing.

    Puisqu’on parle de vrai plan d’attaque, le post de blog revient longuement sur le modèle publicitaire que Microsoft souhaite développer avec l’IA. Le but est de ne pas trop chambouler les fondamentaux du web, en permettant à son économie de se maintenir et de progresser. Microsoft souligne vouloir apporter aux sources plus de traffic pur en les intégrant aux réponses de Bing Chat.

    Ce placement sera automatisé, vu que contrairement au référencement payant classique il n’est pas vraiment possible d’acheter une suite de mots clés. Du coup, Microsoft placera lui-même ces publités en fonction de leur pertinence (on imagine que cela sera décidé par le modèle GPT-4 utilisé par la firme). Les revenus générés seront alors automatiquement partagés entre les éditeurs et Microsoft.

    Dans le détail, on ne sait pas exactement comment l’entreprise compte gérer le nombre et fréquence de ces publicités, ni si ces publicités seront restraintes à des encadrés textuels, des liens hypertexte ou si des formats plus importants, visibles, différenciateurs, voire intrusifs seront utilisés.

    Le vice-président de Microsoft, Yusuf Mehdi, explique dans le billet de blog que l’entreprise veut “partager les revenus publicitaires avec les partenaires dont le contenu a contribué à la réponse du chat”, mais cela ne répond pas à la question de l’équilibre que Microsoft prévoit de trouver entre les réponses avec et sans publicité, entre autres points à éclaircir.

    Comme nous le disions plus haut, des publicités ont déjà été intégrées à l’expérience de chat depuis le lancement de la version preview en février. Elles apparaissant le plus souvent sous forme de liens sponsorisés et à l’intérieur des résultats d’achat chez certains utilisateurs.

    Source: https://www.presse-citron.net/cetait-previsible-bing-chat-glisse-des-pubs-dans-vos-conversations/

  • 2 Votes
    2 Messages
    46 Vues

    Encore une preuve que tout ca n’est que du cinéma :ahah:

  • 2 Votes
    4 Messages
    120 Vues

    Et la pause, c’est vraiment par peur ou juste pour rattraper le retard de certaines sociétés ?

    De toute façon, ça se présente mal pour eux: https://planete-warez.net/topic/3473/sept-modèles-d-a-i-générative-en-open-source

  • Sept modèles d'A.I. générative en open source

    1
    0 Votes
    1 Messages
    59 Vues

    Après le piratage de chatgpt-3 (https://planete-warez.net/topic/3391/vous-pouvez-maintenant-exécuter-un-modèle-d-ia-de-niveau-gpt-3-sur-votre-ordinateur-portable-votre-téléphone-et-votre-raspberry-pi) une société met gratuitement sept modèles à disposition des chercheurs.

    Le fabricant d’ordinateurs Cerebras a publié sept modèles d’IA open source, à titre de ressource pour la communauté des chercheurs. Tout l’inverse du virage pris par l’éditeur de ChatGPT.

    716aa4db-adee-4d57-b9a5-025f0100082a-image.png
    Le supercalculateur Andromeda de Cerebras a été utilisé pour entraîner sept programmes linguistiques similaires au ChatGPT d’OpenAI. Image : Cerebras.

    Le monde de l’intelligence artificielle, et plus particulièrement la branche très populaire de « l’IA générative », qui consiste à créer automatiquement des textes et des images, risque de se refermer sur lui-même en raison de l’effet dissuasif des entreprises qui décident de ne pas publier les détails de leurs travaux de recherche.

    Mais cette tendance au secret incite aussi certains acteurs du monde de l’IA à intervenir et à combler le vide en matière de divulgation.

    Mardi, le pionnier de l’IA Cerebras Systems, fabricant d’un ordinateur dédié à l’IA, a publié en source ouverte plusieurs versions de programmes d’IA générative à utiliser sans restriction.

    Les programmes sont « formés » par Cerebras, c’est-à-dire qu’ils sont amenés à des performances optimales grâce au puissant superordinateur de l’entreprise, ce qui réduit une partie du travail que doivent effectuer les chercheurs extérieurs.

    « Les entreprises prennent des décisions différentes de celles qu’elles ont prises il y a un an ou deux, et nous ne sommes pas d’accord avec ces décisions », a déclaré Andrew Feldman, cofondateur et PDG de Cerebras, dans une interview accordée à ZDNET, faisant allusion à la décision d’OpenAI, le créateur de ChatGPT, de ne pas publier de détails techniques lorsqu’il a dévoilé son dernier programme d’IA générative ce mois-ci, GPT-4. Une décision qui a été largement critiquée dans le monde de la recherche en matière d’IA.

    2e1846c0-1869-4ad7-adf8-989d1dcf5534-image.png

    25c5a3f7-67aa-48d3-9ce4-74aed8bfa045-image.png

    Le code est disponible sur le site web de la start-up d’IA Hugging Face et sur GitHub

    « Nous pensons qu’une communauté ouverte et dynamique - pas seulement composée de chercheurs, et pas seulement de trois, quatre, cinq ou huit personnes propriétaires d’un LLM, mais une communauté dynamique dans laquelle des start-up, des sociétés de taille moyenne et des entreprises forment de grands modèles de langage - est bonne pour nous et pour les autres », assure-t-il.

    Le terme « grand modèle linguistique » fait référence à des programmes d’IA basés sur les principes de l’apprentissage automatique (machine learning), dans lesquels un réseau neuronal capture la distribution statistique des mots dans un échantillon de données. Ce processus permet à un grand modèle linguistique de prédire le mot suivant dans la séquence. Cette capacité est à la base de programmes d’IA générative populaires tels que ChatGPT.

    Le même type d’approche d’apprentissage automatique s’applique à l’IA générative dans d’autres domaines, comme Dall·E d’OpenAI, qui génère des images à partir d’une suggestion de phrase.

    Cerebras a mis en ligne sept grands modèles de langage dans le même style que le programme GPT d’OpenAI, qui a lancé l’engouement pour l’IA générative en 2018. Le code est disponible sur le site web de la start-up d’IA Hugging Face et sur GitHub.

    Les programmes varient en taille, de 111 millions de paramètres, ou poids neuronaux, à 13 milliards. Un plus grand nombre de paramètres rend un programme d’IA plus puissant, de manière générale, de sorte que le code Cerebras offre une gamme de performances.

    L’entreprise a publié non seulement les sources des programmes, en format Python et TensorFlow, sous la licence libre Apache 2.0, mais aussi les détails du mode d’entraînement qui a permis d’amener les programmes à un état de fonctionnalité développé.

    Cette divulgation permet aux chercheurs d’examiner et de reproduire le travail de Cerebras.

    Selon Andrew Feldman, c’est la première fois qu’un programme de type GPT est rendu public « en utilisant des techniques d’entraînement de pointe ».

    D’autres travaux publiés sur l’apprentissage de l’IA ont soit dissimulé des données techniques, comme le GPT-4 d’OpenAI, soit les programmes n’ont pas été optimisés lors de leur développement, ce qui signifie que les données fournies au programme n’ont pas été adaptées à la taille du programme, comme l’explique un article du blog technique de Cerebras.

    84a4c35c-45d2-4145-9420-a5fb5f843c25-image.png

    Les modèles linguistiques de cette taille sont notoirement gourmands en ressources informatiques. Les travaux de Cerebras publiés mardi ont été développés sur une grappe de 16 de ses ordinateurs CS-2, des ordinateurs de la taille d’un réfrigérateur de dortoir qui sont spécialement conçus pour les programmes de type IA. Cette grappe, dont l’existence a déjà été révélée par l’entreprise, est connue sous le nom de supercalculateur Andromeda, qui peut réduire considérablement le travail de formation des LLM sur des milliers de puces GPU de Nvidia.

    Dans le cadre de la publication de mardi, Cerebras a offert ce qu’elle a déclaré être la première loi d’échelle open source, une règle de référence pour la façon dont la précision de tels programmes augmente avec la taille des programmes basés sur des données open source. L’ensemble de données utilisé est la source ouverte The Pile, une collection de 825 gigaoctets de textes, principalement professionnels et académiques, introduite en 2020 par le laboratoire à but non lucratif Eleuther.

    Source et plus: https://www.zdnet.fr/actualites/culture-du-secret-quand-un-pionnier-de-l-ia-prend-openai-a-revers-39956276.htm

    Encore quelques mois et tous les articles sur ce sujet seront déjà obsolètes à peine pondus et pas encore lu :lol: