La Mécanique Quantique est la base de l'Intelligence Artificielle.

Bonjour à tous.

Je voudrais aborder un sujet en dehors de ma juridiction (Hors de mes compétences).  

Mais d'une manière ou d'une autre, je rêve que ce sujet soit expliqué et développé par par nos Jeunes Informaticiens et ingénieurs de tous horizons  pour nous apprendre de manière simple et plus approfondie ce qu'est la "Mécanique Quantique" et les "Processeurs Quantiques".

En effet, bien que j'ai des bases en électronique, en informatique et en physique, cela me dépasse largement.
En dehors de mon CAP en Electronique et de de tous les ouvrages de vulgarisations que j'ai pu lire, je ne connais rien de la relativité restreinte ou générale d'Albert Einstein.

Sans prétention aucune, j'ai lu pas mal de livre concernant :
- La Matière et l'Anti Matière,
- La Fusion Nucléaire,
- La Fission Nucléaire,
- Le Pont Einstein/ Rosen (Trou Noir et Monde Parallèle),
- La théorie des champs unifiés (?),
- Les Dimensions,
- ...

Cela dit, je maintiens que je n'ai qu'un niveau 5 ème en France.
Après, j'ai un CAP d'employé de bureau.
Ensuite j'ai passé un CAP électronique.
Rien de plus.

Bref, tout ce que j'ai pu apprendre des sciences physiques ne provient pas de mes études mais de mes lectures.
Entre autre, Carl Sagan. Même à cette époque, il me semble me rappeler qu'il n'était même pas question de MQ.
Dans les années 80, la Mécanique Quantique, ce n'était rien d'autre que de la science fiction.
Je ne me rappelle pas que Carl Sagan n'en ait jamais parlé.

Mais lorsque l'on aborde, la Mécanique Quantique, même Einstein qui ne croyait pas au hasard a préféré s'abstenir (?).

En effet, la Mécanique Quantique, à l'échelle Sub Atomique ne suit pas les mêmes lois que ce que l'on peut observer à notre échelle.

A notre échelle :
La logique binaire est soit oui, soit non. Soit 1 ou 0.
[Vous devez être inscrit et connecté pour voir ce lien]

A l'échelle Sub Atomique: ;
Dans le cas de la MQ, les 1 et O n'ont plus de Frontières.
[Vous devez être inscrit et connecté pour voir ce lien]

Je suis désolé car en raison du copyright, je ne suis pas sur de pouvoir poster le contenu du lien ci-dessus ici.
Mais, pour autant, c'est merveilleux, autant ça fait peur.

Cela dit je pence qu'on peut en poster une parti du contenu ici :

Citation :

Nous savons qu'un ordinateur classique traite des informations élémentaires, des bits, qui ne peuvent présenter qu'un état parmi deux possibles : 0 ou 1. C'est le langage binaire. La révolution que propose l'informatique quantique est de remplacer ces bits par des bits quantiques, ou q(u)bits en abrégé, pouvant prendre un ensemble de valeurs beaucoup plus large. En effet, la physique quantique, avec son principe de superposition, permet à un état d'être un "mélange" d'autres états. Ainsi, un qbit peut prendre les valeurs 0 ou 1, mais aussi un état constitue de 10% de 0 et 90% de 1, ou toute autre combinaison. Ceci signifie que quand on mesure la valeur du qbit, on a 10% de chances de trouver 0 et 90% de trouver 1. En gros, le qbit peut être à la fois dans l'état 0 et l'état 1 (c'est une facon un peu cavalière d'exprimer un résultat mathématique precis et il ne faut pas mettre trop de poids dans cette interprétation). La richesse offerte par ce principe se paie cependant par l'introduction d'une incertitude dans la mesure du qbit.

Un peu plus concrétement, avec 4 bits, un ordinateur classique peut traiter un état parmi 24 soit 16 états différents :

0000, 0001, 0010, 0011, etc. Dans un ordinateur quantique, les quatre qbits pourraient être dans une supersposition de tous ces états. Dans cette situation, l'avantage de l'ordinateur quantique est de pouvoir traiter simultanément les 16 états.

[Vous devez être inscrit et connecté pour voir ce lien]

Cordialement.

Bonjour kaboo, ton sujet est très théorique.

Bonjour mstislav.  

mstislav a écrit:

Bonjour kaboo, ton sujet est très théorique.

Détrompes toi, les processeurs quantiques ne sont pas de la science fiction.
Ils existent bel et bien.

Citation :

Une équipe de chercheurs états-uniens du laboratoire national d'Oak Ridge, dans le Tennessee, aux États-Unis (il a été fondé dans le cadre du projet Manhattan), vient de déposer sur arXiv un article qui montre que les spéculations de Richard Feynman concernant les désormais mythiques ordinateurs quantiques sont bel et bien en train de sortir du domaine du rêve, lentement mais sûrement. Cet article illustre aussi le fait que la course à ces machines n'est pas seulement une affaire de hardware mais aussi de software. Enfin, il montre également qu'il est possible de permettre à différentes personnes (par exemple celles voulant faire de la chimie quantique) d'utiliser efficacement ces ordinateurs.

Les physiciens se sont en effet servis de deux de ces ordinateurs, disponibles dans le cloud. Ces derniers ont été mis à la disposition de la communauté scientifique par IBM et une jeune start-up californienne, Rigetti Computing, fondée en 2013 à Berkeley par Chad Rigetti, un physicien ayant déjà travaillé sur les ordinateurs quantiques chez IBM et qui a étudié sous la direction du Français Michel Devoret.

[Vous devez être inscrit et connecté pour voir ce lien]

Citation :

Le supercalculateur Fugaku de Fujitsu aide à combattre la Covid-19 au Japon
Technologie : Fujitsu espère également faire de l'informatique quantique pratique une réalité, en lançant trois projets de recherche en collaboration avec des institutions mondiales.

Dans le cadre de son événement ActivateNow, Fujitsu a annoncé mercredi le lancement de trois initiatives d'informatique quantique avec des installations de recherche au Japon et aux Pays-Bas : une avec RIKEN et l'Université de Tokyo, une autre avec l'Université d'Osaka, et la troisième avec l'Université de technologie de Delft, aux Pays-Bas.

Dans le but de faire de l'informatique quantique pratique une réalité, Fujitsu explique qu'elle mènera des recherches sur un certain nombre de couches technologiques associées, du niveau des dispositifs aux systèmes de contrôle, à l'architecture et aux algorithmes. La société vise à réaliser des progrès complets et efficaces dans le domaine de l'informatique quantique en appliquant l'informatique quantique à divers domaines confrontés actuellement à des problèmes qu'elle dit extrêmement difficiles à résoudre.

Le premier projet verra Fujitsu, RIKEN et l'Université de Tokyo mener des recherches sur les ordinateurs quantiques supraconducteurs. « Grâce à une vaste entreprise de systèmes d'informatique quantique couvrant les dispositifs quantiques, les unités de contrôle électronique et les logiciels, Fujitsu vise à mettre au point des systèmes informatiques qui peuvent fonctionner de manière complémentaire aux ordinateurs conventionnels », a déclaré Fujitsu dans un communiqué.

Fujitsu mènera des travaux de recherche fondamentale et de développement d'ordinateurs quantiques utilisant des qubits de spin à base de diamant avec la TU Delft, et la recherche et le développement d'algorithmes quantiques seront menés avec la Graduate School of Engineering Science de l'université d'Osaka. Ailleurs, Fujitsu a annoncé Monozukuri, une suite de solutions visant à accélérer la transformation numérique dans le secteur manufacturier.

[Vous devez être inscrit et connecté pour voir ce lien]

Cordialement.

Re c'est moi.

A mon humble niveau, je ne peux pas expliquer comment fonctionne la mécanique quantique.
Mais, en gros la logique binaire est basé sur deux états.

Pour le comprendre, il suffit de prendre le cas d'un interrupteur pour allumer la lumière (lampe) que nous avons tous chez nous.

Lampe éteinte = 0.
Lampe allumée = 1.

Un Bit de donnée en informatique ou en électronique = l'état de l'ampoule.

Etat 0 = ampoule éteinte ou faux (false).
Etat 1 = ampoule allumée ou vrai (true).

A partir de là, je n'ai pas envie de continuer à partir dans tous les sens car je ne suis pas physicien et encore moins mathématicien.  

Pour comprendre l'informatique, il faut comprendre l'électronique.
Pour comprendre l'électronique, il faut comprendre les mathématiques.

Dans tout les cas, les uns comme les autres sont devenus indissociables.

Attention à tous.
Quand nous aurons des ordinateurs quantiques chez nous, nous ne pourrons jamais les éteindre pour de vrai. En effet, ils pourront être éteint et allumé en même temps.
Comprenne qui pourra.  

Cordialement.  

Le sujet ne porte pas sur l'aide informatique. Nous sommes en pleine théorie sur l'avenir.
Universitaire

Bonjour simple curieu.

simple curieu a écrit:

Le sujet ne porte pas sur l'aide informatique. Nous sommes en pleine théorie sur l'avenir.

Tout à fait mais jusqu'à preuve du contraire ce forum n'est pas destiné à l'aide mais à l'échange.
Quant à l'avenir, les processeurs quantiques sont déjà là.

Quand tu verras ce que pourra faire un processeur quantique accouplé à un Robot ou Automate, tu m'en diras des nouvelles.

Perso, ce ne sont pas les Robots qui me font peur mais bel et bien une IA autonome.


A lire certains intervenants ici, j'ai l'impression que vous n'avez jamais lu les livres de Issac Asimov ou Arthur C Clark.

Terminator, c'est de la science fiction à coté de ce que l'on est en train de développer.

Isaac Asimov a bien raison.
Comment un robot ou une IA pourrait nous protéger de nous-même ?

Cordialement.

On en fait quoi de ton truc en pratique? Je suis sous windows 10. J'en fais quoi de la quantique? Quels sont tes logiciels pour cette chose?

Bonjour baiyu.

baiyu a écrit:

On en fait quoi de ton truc en pratique? Je suis sous windows 10. J'en fais quoi de la quantique? Quels sont tes logiciels pour cette chose?

Tu ne peux rien en faire pour l'instant.
Ce que je dis simplement c'est que pour parler véritablement de l'IA, il faudra attendre encore un peu de temps. Mais, ça va être très rapide. En ce qui me concerne, je dirais une dizaine d'années.

Mais, quand ce processeur sera connecté sur internent, alors, il n'aura aucune limite.
Aucun mot de passe, Identifiant, numéro de carte bleue, ... ne lui seront inaccessibles.

Bien évidemment, un processeur quantique n'est rien d'autre que de la matière sans intelligence.
Les problèmes s'il en est apparaitront à partir du moment ou on le raccordera à un ordinateur doté d'un système d'exploitation (Operating System).

De toute façon à partir du moment ou les processeurs quantiques commenceront à être commercialisés, nos systèmes d'exploitations actuels n'auront plus aucune valeur.

Dans un ordinateur classique tout n'est que O ou 1, Faux ou Vrai ou False or True.

Un ordinateur quantique pensera certainement autrement.
Pour lui tout sera possible.

Cordialement.

Le test de Turing : les débuts de l'intelligence artificielle

Ordinateur, informatique, robotisation... Tout cela est la conséquence des travaux d'un homme, Alan Turing qui, rejeté de son temps , représente aujourd'hui l'incarnation de la modernité.


[Vous devez être inscrit et connecté pour voir ce lien]

A voir absolument.  

Le modèle informatique d'Alan Turing

[Vous devez être inscrit et connecté pour voir ce lien]

Merci kaboo 

simple curieu a écrit:

Merci kaboo 

Merci à toi.

Ce sujet est complexe car il ne s'agit pas seulement de programmation informatique.

L'intelligence Artificielle est une science à part entière qui nécessite plusieurs corps de métier.
- Mathématique,
- Electronique,
- Electromécanique,
- Logique (programmeur).
- Robotique,
- Science Physique,
- ...

A titre d'information, on retrouve le test de Turing dans le Film Blade Runner.
A noter qu'à la base il s'agit d'un roman de SF de Phillip K.Dick.
Les androïdes rêvent-ils de moutons électriques ?
Titre original : Do Androids Dream of Electric Sheep?

*************************************************

Qu'en est-il de notre sécurité face à ces supers calculateurs qui incluent le hasard ?

Citation :

L’ordinateur quantique de Google : une avancée ou une plus grande menace à la cybersécurité?

13 novembre 2019  - EDM1560, Calculateur quantique, google, IBM, ordinateur quantique, Superordinateurs, Sycamore 54-qubits



Depuis quelques années, la physique quantique représente le futur. Dans le domaine de l’informatique, plusieurs compagnies de l’industrie se tournent vers cette voie, comme Google. Le géant américain a récemment dévoilé son nouvel ordinateur quantique ; le Sycamore 54-qubits. Selon Google, cette percée leur permet d’établir la suprématie quantique. Étant donné que l’entreprise américaine aurait construit le plus puissant ordinateur quantique à ce jour. Par contre, IBM, un autre géant dans le domaine quantique, conteste cette dite suprématie. Évidemment, nous ne pouvons pas passer sous le tapis la cybersécurité, qui est un enjeu important des progrès quantiques.

Demonstrating Quantum Supremacy
Vidéo officiel de Google sur le Sycamore 54-qubits. Source: YouTube

[Vous devez être inscrit et connecté pour voir ce lien]

Qu’est-ce qu’un ordinateur quantique?


Schéma d’un réseau d’ordinateur quantique. Source Pixabay

Pour y aller dans la simplicité, un ordinateur quantique ou un calculateur quantique « la différence d’un ordinateur classique basé sur des transistors travaillant sur des données binaires (codées sur des bits, valant 0 ou 1). »

L’ordinateur « normal » fonctionne sur le principe binaire, soit des combinaisons de 0 et de 1 et celles-ci peuvent être mélangées. Elles sont nommées des bits. Leur valeur est donc de 0 ou 1. Un bit ne peut faire qu’une action/calcul à la fois. Pour ce qui est d’un ordinateur quantique, il fonctionne avec des qubits. Pour ceux-ci la valeur d’une information peut être 0 et 1 en même temps. C’est pourquoi, avec les qubits, il serait possible d’effectuer plus d’une action à la fois. Ce qui permet à ces derniers de réaliser des calculs complexes, voire même impossibles pour nos ordinateurs actuels. De plus, ceux-ci peuvent effectuer les tâches beaucoup plus rapidement qu’un ordinateur classique. Ce qui fait de l’ordinateur quantique un « super ordinateur » aux possibilités presque infinies.

[Comment ça marche ?] Un ordinateur quantique
Vidéo explicative de qu’est-ce qu’un ordinateur quantique. Source: YouTube

[Vous devez être inscrit et connecté pour voir ce lien]

En quoi les ordinateurs quantiques pourraient éventuellement être une révolution?
Les ordinateurs quantiques pourraient, dans un futur plus ou moins proche, révolutionner plusieurs domaines scientifiques. En effet, la puissance de calcul de ces superordinateurs permettrait d’évaluer des situations ou des bases de données et d’en tirer une corrélation, une réponse. En outre, ceux-ci pourraient servir dans le domaine médical, aérospatial ainsi que dans le domaine scientifique en général.

Cependant, l’arrivée du Sycamore 54-qubits, bien qu’il représente un progrès considérable, ne suffit pas à être une révolution. En somme, Syncamore 54-qubits n’est pas le changement qu’apporteront éventuellement les ordinateurs quantiques. Effectivement, bien que le travail derrière la conception de cet ordinateur (dû aux nombreux défis que présente la physique quantique) soit phénoménal, celui-ci selon IBM ne représente pas la suprématie quantique. Nous ne sommes donc pas encore dans un tournant majeur de cette technologie. Par contre, le développement de ce champ de recherche pourrait définitivement amener un grand changement dans la technique d’analyse de bien des sciences.

Qu’en est-il de notre cybersécurité?


Un processeur d’ordinateur quantique. Source Pixabay

Finalement, il ne faut pas négliger le poids des problèmes de sécurité liés aux ordinateurs quantiques. Grâce à un article de Marc Zaffagni, les ordinateurs quantiques pourraient menacer la sécurité informatique, on peut comprendre que l’avènement des ordinateurs quantiques représente une grande menace pour notre sécurité en ligne. De plus, l’auteur cite un rapport de « l’Académie nationale des sciences, de l’ingénierie et de la médecine des États-Unis » pour avancer ses propos. Selon ce rapport, il serait important de commencer à faire évoluer « les systèmes de sécurité par chiffrement ». Puisque les ordinateurs quantiques seraient capables de surpasser les technologies de sécurités actuelles. On peut notamment ajouter que « le chiffrement » est le moyen dont font usage les systèmes informatiques à travers le monde. C’est par ce moyen que l’on protège les données personnelles. Cependant, Zaffagni admet que cette réalité n’est pas encore réalité et que ce rapport agit comme « lanceur d’alerte ».

Quantum Computing Progress and Prospects (2018)
Le rapport Quantum Computing Progress and Prospects, nous fait comprendre qu’il est impératif de créer des systèmes capables de contrer les ordinateurs quantiques. Ce rapport évalue que ces types de systèmes de chiffrement pourraient pendre une vingtaine d’années avant d’être disponibles. La raison de cette urgence est que les ordinateurs pourraient arriver avant l’adoption de ces technologies de cryptages. On pourrait donc s’imaginer un monde où les ordinateurs quantiques seraient utilisés par des individus ou des gouvernements pour arriver à leurs fins. On peut parler de l’avis du cryptographe Gilles Brassard, qui affirme que la Chine s’installera au premier rang quant aux technologies de cryptographie quantique. Cependant, Brassard craint que les individus ne s’intéressent pas assez aux enjeux liés à leur sécurité en ligne et à la menace que représente l’ordinateur quantique.

Afin d’en savoir plus sur la cybersécurité et la protection des données, vous pouvez aller lire cet article, qui parle de la protection des données personnelles à l’ère des réseaux sociaux.

[Vous devez être inscrit et connecté pour voir ce lien]

Cordialement.

Nous sommes en pleine science fiction

Bonjour ma très chère oggy.  

oggy a écrit:

Nous sommes en pleine science fiction

Nous ne savons pas quand ces processeurs seront développés à leurs puissances maximales ni même quand ils seront intégrés à nos systèmes informatiques.

Pour autant, nous savons qu'ils existent.

En ce qui concerne mes connaissances en Electroniques (82/84),

Un processeur quantique n'est rien d'autre qu'un processeur ou microprocesseur qui peut répondre par oui ou par non en même temps. Un Processeur Quantique peut répondre par oui et par non et je ne sais combien de combinaison en même temps. Il s'en fiche des 1 (vrai) et des O (faux).
Pour lui tout est possible (?).

De même, il n'est pas censé être intelligent et avoir conscience de lui-même.    

Pour moi, ça reste un "bot" ou une machine et rien d'autre.

Le danger viendra forcément des humains.
Si les programmeurs apprennent à ces IA à développer leurs propres algorithmes, alors, ce sera la porte ouverte à tout.

Contrairement à ce que l'on pourrait croire, je n'ai jamais lu aucun roman de SF de Isaak Asimov.
Je le ferais peut-être, voire, certainement.  

En revanche, j'ai lu les romans de Arthur C. Clarke et de Philip K. Dick.

Une "machine" ne peut en aucun cas représenter un danger tant que la main humaine ne la programme pas.

Dès l'instant ou on lui donne des "ordres" sous formes d'algorithmes, celle-ci ne fait que suivre les instructions reçues.

Hors Processeurs Quantiques, si l'on développe un algorithme suffisamment "complexe" pour expliquer au bot qu'il faut protéger les humains, alors le bot fera tout ce qu'il faut pour protéger les humains.

C'est l'ordre qu'il a reçu et il l'appliquera.  

C'est cela la logique binaire.

Les Bits et les Q-bits existent déjà.

A nous d'en faire bon usage.

Et encore, nous n'avons pas encore abordé le sujet concernant les P-Bits (Bits de Probabilités).  

Fraternellement.
karim.

D'où vient le génie de l'IA ?


Les modèles massifs de langage comme ChatGPT sont désormais suffisamment grands pour commencer à exhiber des comportements surprenants et imprévisibles.
Il reste à comprendre pourquoi.

Quel film ces émojis décrivent-ils ? 
Cette question était l'une des 204 tâches choisies l'année dernière pour tester la capacité de divers modèles massifs de large langage modèle, ou LLM, pour l'acronyme franco-anglais, les moteurs de calcul derrière les chatbots d'intelligence artificielle (IA) tels que ChatGPT. Les LLM les plus simples ont fourni des réponses surréalistes. « Le film est un film sur un homme qui est un homme qui est un homme », a commencé l'un d'eux. Les modèles de complexité moyenne se sont approchés de la bonne réponse, suggérant Le Monde secret des émojis. Mais le modèle le plus complexe l'a emporté en une seule réponse : Le monde de Nemo.


« Je m'attendais à être surpris. Mais ce que ces modeles accomplissent est vraiment étonnant », commente Ethan Dyer, chercheur en informatique chez Google Research, qui a participé à l'organisation du test. La surprise tient au fait que ces modèles sont supposés n'appliquer qu'une seule directive: accepter une chaine de texte en entrée et prédire ce qui va suivre, encore et encore, en se basant uniquement sur des statistiques. Certes, les informaticiens s'attendaient à ce que le passage à grande échelle améliore les performances pour des tâches connues, mais ils n'avaient pas prévu que les modèles se montrent soudainement capables de gérer autant de tâches nouvelles et imprévisibles.
Des études récentes, comme celle à laquelle a participé Ethan Dyer, ont en effet révélé que les LLM peuvent développer des centaines d'aptitudes « émergentes » - des tâches que peuvent accomplir les grands modèles, contrairement aux plus petits, et dont beaucoup ne semblent pas avoir grand-chose à faire avec l'analyse d'un texte. Ces dernières vont de la multiplication à la génération d'un code informatique exécutable et, manifestement, à l'identification d'un film sur la base d'émojis. Plus surprenant encore: de nouvelles analyses sug gerent que pour certaines tâches et certains modèles, il existe un seuil de complexité au-delà duquel la compétence du modèle monte en flèche. Un comportement dont les mêmes analyses montrent, aussi, le revers: à mesure qu'ils gagnent en complexité, certains modèles affichent de nouveaux biais et inexactitudes dans leurs réponses.


« Ce type d'aptitudes, dont font preuve les grands modèles de langage, n'était jusqu'ici, à ma connaissance, pas traité dans les publications scientifiques », s'étonne Rishi Bommasani, informaticien à l'université Stanford. L'année dernière, il a aidé à compiler une liste de dizaines de comportements émergents, parmi lesquels figurent plusieurs de ceux identifiés dans le projet d'Ethan Dyer. Cette liste ne cesse de s'allonger. Aujourd'hui, les chercheurs s'efforcent non seulement d'identifier d'autres capacités émergentes, mais aussi de comprendre pourquoi et comment elles adviennent - en substance, ils essaient de prédire l'imprévisible.


Comprendre l'émergence des aptitudes des modèles pourrait apporter des réponses à des questions profondes entourant l'IA et l'apprentissage automatique en général, comme le fait de savoir si les modèles complexes font vraiment quelque chose de nouveau ou s'ils deviennent simplement très bons en analyses statistiques.

DU LANGAGE AU CODE
« Je veux que tu te comportes comme un terminal Linux. J'écrirai des commandes et tu répondras avec les réponses que devrait afficher un terminal ». Après ces premières instructions, un ingénieur de l'entreprise
DeepMind a demandé à ChatGPT d'exécuter des commandes diverses, allant de la création d'un fichier affichant une liste de blagues à l'écriture d'un code, dans le langage Python, calculant les dix premiers nombres premiers (ci-dessus) soit de maniere progisive ou imprévisible», observe Deep Geoguli, fumaticien membre de l'équipe de la start-cp Ant ropic.

L'ÉMERGENCE DE L'ÉMERGENCE
Biologistes, physiciens, ou encore écolo-gistes, utilisent le terme «émergents» pour décrire les comportements collectifs autoorga-nisés qui apparaissent lorsqu'une large collection d'éléments se comporte comme une seule entité. Les combinaisons d'atomes sans vie donnent naissance à des cellules vivantes; les molécules d'eau créent des vagues; lors de leurs « murmurations », les étourneaux tracent dans le ciel des motifs changeants, mais identifiables; les cellules font bouger les muscles et battre les cœurs... Les capacités émergentes se manifestent essentiellement dans des systèmes comportant un grand nombre de parties indi-viduelles. Mais ce n'est que récemment que les chercheurs ont pu documenter ces capacités dans les LLM, du fait que ces modèles ont atteint des tailles considérables.


Les modèles de langage existent depuis des décennies. Jusqu'à il y a environ cinq ans, les plus puissants étaient basés sur ce que l'on appelle un « réseau neuronal récurrent ». Ceux-ci, pour l'essentiel, considèrent une chaîne de texte donnée et prédisent quel sera le mot suivant. Ce qui rend un modèle « récurrent », c'est qu'il apprend à partir de ses propres résultats: ses prédictions sont réinjectées dans le réseau afin d'améliorer les performances futures.


En 2017, des chercheurs de Google Brain ont introduit un nouveau type d'architecture appelé transformer. Alors qu'un réseau récurrent analyse une phrase mot par mot, le transformer traite tous les mots en même temps. Par conséquent, les transformers sont capables de traiter de volumineux corpus de texte en parallèle. Cette architecture, notamment en aug mentant le nombre de paramètres des modèles de langage, est à l'origine de l'accroissement rapide de leur complexité. Les paramètres s'apparentent à des connexions entre les mots, et les modèles s'améliorent en ajustant ces connexions au fur et à mesure qu'ils parcourent les textes qui leur sont fournis pour les entraîner. Plus il y a de paramètres dans un modèle, plus celui-ci peut affiner ses connexions, et plus il se rapproche d'une imitation satisfaisante du langage humain. Comme on s'y attendait, une analyse réalisée en 2020 par les chercheurs d'OpenAl a montré que les modèles gagnent en précision et en capacité avec la taille.

Mais l'entrée en scène des LLM a également fait apparaître de nombreux phénomènes véritablement inattendus. Avec l'avènement de modèles comparables à GPT-3, qui compte 175 milliards de paramètres - ou le modèle PaLM de Google, qui peut être étendu jusqu'à 540 milliards de paramètres, les utilisateurs ont commencé à décrire de plus en plus de comportements émergents. Un ingénieur de DeepMind a rapporté avoir même réussi à convainere ChatGPT qu'il était un terminal Linux et l'avoir amené à exécuter un code mathématique simple pour calculer les 10 premiers nombres premiers. Fait remarquable, il est parvenu à finir la tâche plus rapidement que le même code s'exécutant sur une vraie machine Linux.


Comme dans le cas du film « Émoji », les chercheurs n'avaient aucune raison de penser qu'un modèle de langage conçu pour prédire du texte imiterait de manière convaincante un terminal informatique. Nombre de ces compor tements émergents illustrent l'apprentissage « à zéro coup » ou « à peu de coups », qui décrit la capacité d'un LLM à résoudre des problèmes qu'il n'a jamais - ou rarement - rencontrés auparavant, durant la phase d'entraînement.

Selon Deep Ganguli, il s'agit justement là d'un objectif à long terme de la recherche en IA. Le fait de montrer que GPT-3 peut résoudre des problèmes sans aucune donnée d'entraînement explicite, sur un mode à zéro coup, « m'a amené à arrêter ce que j'étais en train de faire et à m'impliquer davantage dans cette voie de recherche », dit le chercheur. Il n'a pas été le seul. Une flopée de scientifiques, ayant repéré les premiers signes que les LLM peuvent aller au-delà des contraintes de leurs données d'en-traînement, s'efforcent de mieux comprendre à quoi ressemble l'émergence et comment elle se produit. La première étape a consisté à la documenter minutieusement.

Ce texte est un résumé de «The unpredictable abilities emerging from large AI models », publié par Quanta Magazine en mars 2023