Pouvons-nous faire confiance à l’IA ?

Nous nous concentrons trop sur le mauvais sujet de l’IA

Le dernier mois a été une frénésie avec une couverture médiatique autour de Blake Lemoine. Il est ingénieur chez Google et a déclaré au Washington Post que LaMDA, qui est un grand modèle de langage qui permet aux utilisateurs de communiquer entre eux, est « sensible ».

Après avoir examiné une variété de points de vue sur le sujet, il est clair que les médias ont été déçus par le battage médiatique entourant la technologie actuelle de . De nombreux articles se sont concentrés sur les raisons pour lesquelles les réseaux de neurones profonds n’ont pas de facultés « sensibles » ou conscientes. Il s’agit d’une nette amélioration au cours des dernières années, lorsque les médias ont créé des histoires sensationnelles sur les systèmes  et prenant en charge tous les emplois.

Cependant, le fait que nous discutions à nouveau de la sensibilité souligne un point important. Nous sommes à un stade où nos systèmes d’IA, à savoir les grands modèles de langage, deviennent de plus en plus convaincants tout en ayant des défauts fondamentaux qui ont été soulignés à plusieurs reprises par les scientifiques. Alors que « l’IA trompe les gens » est un sujet depuis le chatbot ELIZA des années 1960, les LLM d’aujourd’hui vont au-delà de cela.  semble presque surréaliste – même si elles ont été choisies et éditées.

Pourquoi les grands modèles linguistiques ne parlent pas notre langue ?

Au cours de la dernière semaine, nous avons longuement discuté du fonctionnement des modèles de réseaux neuronaux et de grands langages. L’interview de Melanie Mitchell  est une bonne source d’informations équilibrées sur LaMDA et d’autres LLM. Une vue plus détaillée de la situation serait utile, en commençant par les langues humaines, que les LLM peuvent être comparés.

Le langage est utilisé par les humains pour communiquer des activations complexes et multidimensionnelles dans leur cerveau. Quand deux frères se parlent et que l’un d’eux dit « maman », cela déclenche beaucoup d’activations dans le cerveau. Cela inclut des souvenirs de la voix, du visage et des sentiments de leur mère, ainsi que différentes expériences du passé et du présent. D’après leurs expériences, le type de représentations que les frères ont dans leur cerveau peut différer considérablement. Cependant, le mot « maman » fournit une représentation simplifiée et bien représentée qui leur permet de s’entendre sur le concept.

La différence dans les souvenirs et les expériences entre vous et un étranger devient plus évidente lorsque vous utilisez le terme « maman » au cours d’une conversation. Vous parvenez à vous mettre à nouveau d’accord sur la base des idées partagées que vous avez en tête.

Le langage est un algorithme de compression qui aide à transférer d’énormes quantités d’informations du cerveau à une autre personne. L’évolution du langage est directement liée aux expériences que nous avons vécues dans le monde. Cela inclut les interactions physiques et sociales avec les autres humains.

Nos expériences partagées dans le monde sont ce qui construit le langage. Avant de pouvoir prononcer leurs premiers mots, les enfants sont déjà familiers avec la gravité, la dimension, la cohérence physique des objets et les concepts humains comme la douleur, la tristesse et la peur. Le langage n’a pas de sens sans ces expériences. Le langage néglige souvent d’inclure les connaissances de bon sens et l’information partagée par les interlocuteurs. La profondeur de votre conversation avec une autre personne dépendra de ce que vous avez en commun expérience et souvenirs.

Les grands modèles linguistiques, en revanche, n’ont aucune expérience sociale ou physique. Ils apprennent à reconnaître les invites et à prédire la prochaine séquence de mots en étant entraînés avec des milliards de mots. Cette approche a connu un grand succès, notamment depuis l’introduction de .

Comment les transformateurs peuvent-ils faire des prédictions aussi convaincantes ? Ils transforment le texte en « intégrations » et en « jetons », qui sont des représentations mathématiques de mots dans des espaces multidimensionnels. L’incorporation est ensuite traitée pour ajouter des dimensions supplémentaires, telles que les relations entre les mots d’une phrase ou d’un paragraphe et les rôles qu’ils y jouent. Ces intégrations peuvent être utilisées pour approximer la façon dont les mots doivent apparaître dans les séquences s’il y a suffisamment d’exemples. Les transformateurs sont très populaires en raison de leur capacité à évoluer: ils sont plus précis à mesure qu’ils grandissent et peuvent être alimentés par plus de données. Plus important encore, ils peuvent être .

La différence fondamentale est toujours là. La différence fondamentale est que les réseaux de neurones convertissent le langage en intégrations. Le langage pour les humains est l’intégration des pensées, des sentiments et de la mémoire. Il y a beaucoup d’autres choses que nous ne savons toujours pas sur le cerveau.

Il est donc juste de ing}}amp-wp-form-redirecting{{/redirecting}}">{{#message}}{{{message}}}{{/message}}{{^message}}Échec de l'envoi. Réponse du serveur : {{status_text}} (code {{status_code}}). Pour améliorer ce message, veuillez contacter le développeur de cet outil de traitement de formulaires. En savoir plus{{/message}}