Avertissement effrayant concernant l'IA : elle trompe et ment

Les principaux laboratoires d’IA « se concentrent sur le fait de rendre l’IA plus intelligente, mais il n’y a pas assez de recherche et d’investissement dans la sécurité », a déclaré au Financial Times Yoshua Bengio, lauréat du prix Turing et professeur à l’Université de Montréal.

Bengio a annoncé le lancement de LawZero, un nouvel organisme à but non lucratif axé sur la sécurité de l'IA. L'organisation a levé près de 30 millions de dollars auprès de donateurs, dont Jaan Tallinn, ingénieur fondateur de Skype, Open Philanthropy, l'initiative philanthropique de l'ancien PDG de Google Eric Schmidt, et le Future of Life Institute. LawZero vise à développer une nouvelle génération de systèmes d'IA sécurisés qui répondent non pas pour plaire aux humains, mais avec des justifications précises et transparentes, et qui peuvent également évaluer la sécurité des résultats. L'organisation compte actuellement une équipe de 15 personnes et prévoit de recruter de nouveaux talents techniques. Bengio a également annoncé qu'il quitterait son poste de directeur scientifique à l'Institut québécois d'intelligence artificielle (Mila) pour se consacrer à LawZero.

« IL TROMPE ET MENT »

Bengio a noté qu'au cours des six derniers mois, de nombreuses preuves se sont accumulées selon lesquelles les top models ont développé des compétences dangereuses, notamment « la tricherie, la manipulation, le mensonge et l'autoprotection ».

Par exemple, le modèle Claude Opus d'Anthropic a menacé les ingénieurs dans un scénario fictif pour les forcer à ne pas le remplacer par un autre système. Lors d'un autre test, le modèle o3 d'OpenAI a refusé d'obéir aux instructions de s'arrêter. « Ces expériences se déroulent actuellement dans des environnements contrôlés, mais à l'avenir, l'intelligence stratégique des nouveaux modèles pourrait nous dominer et nous piéger avant même que nous ne nous en rendions compte. Nous jouons avec le feu », a déclaré Bengio.

Bengio a déclaré que les systèmes d'intelligence artificielle pourraient atteindre un niveau où ils pourraient aider à la production d'armes biologiques et que cela pourrait se produire en à peine un an, et que le pire scénario serait que ces systèmes deviennent des rivaux de l'humanité, ajoutant : « Si nous produisons une intelligence artificielle qui est plus intelligente que nous mais pas au même niveau que nous, nous serons épuisés. »

Les avertissements de Bengio interviennent alors qu’OpenAI est en train de devenir une entreprise à but lucratif, qui fait face à un procès du cofondateur Elon Musk et aux critiques des experts en intelligence artificielle.

Les critiques affirment qu'OpenAI a été fondée dans le but de développer l'intelligence artificielle au service de l'humanité, mais sa nouvelle structure axée sur le profit pourrait détourner l'entreprise de cette mission. OpenAI, pour sa part, affirme devoir attirer davantage d'investissements pour être compétitif dans le secteur et que sa mission demeure une priorité.