Un physicien explique comment l’agrandissement des réseaux neuronaux influence leur comportement, en comparant l’IA aux lois des systèmes complexes.

Les réseaux de neurones acquièrent de nouvelles propriétés grâce à la spécialisation des nœuds, tandis que, dans les systèmes physiques, l’information demeure redondante

La perspective « More is Different », proposée par le physicien Philip Anderson en 1972, avance que les propriétés des systèmes complexes ne peuvent pas être déduites directement des lois décrivant leurs composants élémentaires. Dans une étude récente, le professeur Ido Kanter (Ido Kanter), de l’université Bar-Ilan en Israël, a examiné la manière dont cette idée se manifeste dans les systèmes modernes d’intelligence artificielle, en les mettant en regard de systèmes physiques.

L’étude analyse le comportement de modèles de réseaux de neurones à travers le prisme de la théorie de l’information. Le cœur de l’analyse porte sur les éléments internes du modèle, appelés nœuds (nodes), et sur la contribution de chacun à l’exécution de la tâche globale. Kanter étudie ainsi la façon dont l’information se répartit dans ces systèmes à mesure que leur taille augmente.

Les résultats indiquent qu’au fil de l’apprentissage d’un réseau de neurones, ses nœuds cessent d’exécuter des fonctions identiques et commencent à se spécialiser. Certains nœuds se concentrent sur la détection de motifs spécifiques ou sur des caractéristiques linguistiques particulières. Cette spécialisation entraîne une répartition fonctionnelle à l’intérieur du système et fait émerger une forme de coopération entre les éléments.

Selon Kanter, « même un seul nœud au sein d’un modèle de langage peut contenir des informations significatives sur la tâche, mais lorsque les nœuds travaillent ensemble, leurs capacités dépassent la somme des contributions individuelles ». Il décrit ce comportement comme une manifestation de l’émergence (l’apparition de nouvelles propriétés d’un système grâce aux interactions entre ses parties), en cohérence avec le principe « More is Different ».

En physique, d’après les conclusions rapportées, le schéma observé est différent. Dans de nombreux systèmes physiques, chaque composant individuel reflète la même information sur l’état du système que l’ensemble des composants. L’ajout de nouveaux éléments n’augmente pas la quantité d’information disponible sur le système, ce que Kanter résume par l’idée que « plus, c’est la même chose ».

L’auteur relie également ces observations à la neurobiologie. En s’appuyant sur des données expérimentales relatives à l’apprentissage dendritique (un mécanisme de traitement des signaux dans les neurones), il avance que le cerveau biologique pourrait mobiliser des éléments plus spécialisés et plus riches en information qu’on ne le suppose généralement.

Enfin, l’étude conclut que l’efficacité des systèmes d’intelligence artificielle ne dépend pas uniquement de leur échelle, mais aussi de la capacité de leurs composants internes à se spécialiser et à interagir. Cette approche permet de quantifier la différence entre systèmes physiques et systèmes artificiels, tout en précisant le rôle des propriétés émergentes dans la formation de l’intelligence.