Nous nous trouvons \u00e0 un moment crucial de l’histoire de la Terre. Tel un rocher perch\u00e9 sur le sommet d’une montagne, nous sommes dans une situation instable. Nous ne pouvons demeurer o\u00f9 nous sommes: L’IA arrive si on suppose que le progr\u00e8s scientifique continue. D’ici peu, nous allons tomber d’un cot\u00e9 de la montagne ou de l’autre vers un endroit stable.<\/p>\n
D’un de ces cot\u00e9s, il y a l’extinction de l’esp\u00e8ce humaine. (\u00ab\u00a0Votre esp\u00e8ce s’\u00e9teint? Vous restez sur cette case.\u00a0\u00bb) Un autre \u00e9tat stable pourrait \u00eatre un totalitarisme globale et stable qui arr\u00eate le progr\u00e8s scientifique, toutefois cela semble improbable.<\/p>\n
Qu’en est-il de l’intelligence artificielle? L’IA m\u00e8ne \u00e0 l’explosion d’intelligence, et, parce que nous ne savons pas donner \u00e0 une IA des buts b\u00e9n\u00e9volants, par d\u00e9faut une explosion d’intelligence va optimiser le monde de mani\u00e8re d\u00e9sastreuse par accident. Une explosion d’intelligence contr\u00f4l\u00e9e, pourrait, cependant, optimiser le monde en faisant le bien. (Plus sur cette option dans le chapitre suivant.)<\/p>\n
En ce qui me concerne, je pousse de toutes mes forces vers cette derni\u00e8re vall\u00e9e: une explosion d’intelligence contr\u00f4l\u00e9e.<\/p>\n
Pour un bref moment dans l’histoire nous somme capables de comprendre (peut-\u00eatre vaguement) notre situation actuelle et influencer de quel cot\u00e9 de la montagne nous allons probablement atterrir. Que devrions-nous alors faire?<\/p>\n
Le progr\u00e8s intellectuel diff\u00e9renci\u00e9<\/p>\n
Ce dont nous avons besoin est le progr\u00e8s intellectuel diff\u00e9renci\u00e9<\/p>\n
Le progr\u00e8s intellectuel diff\u00e9renci\u00e9 consiste \u00e0 prioritiser le progr\u00e8s intellectuel qui r\u00e9duit les risques par rapport au progr\u00e8s intellectuel qui augmente les risques. Appliqu\u00e9 aux risques de l’IA en particulier, un plan de progr\u00e8s intellectuel diff\u00e9renci\u00e9 recommanderait que notre progr\u00e8s sur les probl\u00e8mes scientifiques, philosophiques, et technologiques de la s\u00fbret\u00e9 de l’IA distance notre progr\u00e8s sur les probl\u00e8mes de la capacit\u00e9 de l’IA de sorte \u00e0 ce que nous d\u00e9veloppions des IA super-humaines s\u00fbres avant de d\u00e9velopper des IA super-humaines (arbitraires). Notre premi\u00e8re IA super-humaine doit \u00eatre une IA super-humaine s\u00fbre, parce que nous n’aurons peut-\u00eatre pas de seconde chance.<\/p>\n
En simplifiant beaucoup, la recherche sur la s\u00fbret\u00e9 de l’IA est dans une course contre la recherche sur les capacit\u00e9s de l’IA. Actuellement, la recherche sur les capacit\u00e9s de l’IA est en train de gagner, et en fait elle acc\u00e9l\u00e8re. L’humanit\u00e9 fait plus d’efforts dans la recherche pour les capacit\u00e9s de l’IA que pour la recherche concernant la s\u00fbret\u00e9 de l’IA.<\/p>\n
Si la recherche sur les capacit\u00e9s de l’IA gagne la course, l’humanit\u00e9 perd. Si la recherche sur la s\u00fbret\u00e9 de l’IA gagne la course, l’humanit\u00e9 gagne.<\/p>\n
Beaucoup de gens savent de quoi \u00e7a a l’air de continuer la recherche sur les capacit\u00e9s de l’IA. C’est la plupart des travaux sur l’IA que vous lisez. Mais de quoi \u00e7a a l’air de continuer la recherche sur la s\u00fbret\u00e9 de l’IA?<\/p>\n
Cet article contient une longue liste de cat\u00e9gories de probl\u00e8mes de la recherche sur la s\u00fbret\u00e9 de l’IA, mais pour l’instant laissez moi vous donner quelques exemples. (Laissez tomber cette liste si vous voulez \u00e9viter du jargon technique qui fait peur.)<\/p>\n
Quand un agent consid\u00e8re des modifications radicales de son m\u00e9canisme de d\u00e9cision, comment peut-il s’assurer qu’en faisant cela il va augmenter son utilit\u00e9 esp\u00e9r\u00e9e? Les th\u00e9ories de la d\u00e9cision actuelles butent sur le th\u00e9or\u00e8me de L\u00f6b concernant cette probl\u00e9matique, donc une nouvelle th\u00e9orie de la d\u00e9cision qui soit \u00ab\u00a0consistante avec la r\u00e9flectivit\u00e9\u00a0\u00bb est n\u00e9cessaire.<\/p>\n
La fonction d’utilit\u00e9 d’un agent peut faire r\u00e9f\u00e9rence \u00e0 des \u00e9tats ou des entit\u00e9s de son ontologie. Mais comme le note Peter de Blanc, \u00ab\u00a0Si l’agent peut am\u00e9liorer ou remplacer son ontologie, alors il est face \u00e0 une crise: la [fonction d’utilit\u00e9] d’origine de l’agent peut ne pas \u00eatre bien d\u00e9finie avec sa nouvelle ontologie.\u00a0\u00bb Nous devons trouver comment \u00eatre s\u00fbr qu’apr\u00e8s avoir donn\u00e9 de bons buts \u00e0 l’IA, que ces buts ne vont pas \u00eatre \u00ab\u00a0corrompus\u00a0\u00bb quand l’IA modifie son ontologie.<\/p>\n
Comment fabriquer une fonction d’utilit\u00e9 d\u00e9sirable \u00e0 partir de ce que veulent les humains? Les m\u00e9thodes actuelles d’acquisition de pr\u00e9f\u00e9rences en IA sont inad\u00e9quates: nous avons besoin de nouveaux algorithmes plus puissants et universels pour l’acquisition de pr\u00e9f\u00e9rences. Ou peut-\u00eatre que nous devons laisser de vrais humains raisonner \u00e0 propos de leurs pr\u00e9f\u00e9rences pendant tr\u00e8s longtemps jusqu’\u00e0 ce qu’ils atteignent une sorte \u00ab\u00a0d’\u00e9quilibre r\u00e9flectif\u00a0\u00bb pour leurs pr\u00e9f\u00e9rences. Cette derni\u00e8re m\u00e9thode peut impliquer des simulations de cerveaux entiers –mais comment pouvons nous cr\u00e9er de telles choses sans permettre la cr\u00e9ation d’IA dangereuses inspir\u00e9es du cerveau et qui s’am\u00e9liorent elles-m\u00eames.<\/p>\n
Nous ne pourrons peut-\u00eatre pas r\u00e9soudre le probl\u00e8me de la th\u00e9ories des valeurs avant que l’IA soit cr\u00e9e. Peut-\u00eatre que nous avons besoin \u00e0 la place d’une th\u00e9orie qui g\u00e8re cette incertitude normative, par exemple quelque chose comme le mod\u00e8le de Parlement propos\u00e9 par Bostrom.<\/p>\n
A part ces probl\u00e8mes techniques de recherche, nous pourrions aussi consid\u00e9rer le progr\u00e8s intellectuel diff\u00e9renci\u00e9 pour recommander le progr\u00e8s sur une vari\u00e9t\u00e9 de probl\u00e8mes strat\u00e9giques de recherche. Quelles technologies l’humanit\u00e9 devrait-elle financer ou au contraire ne pas financer? Que pouvons nous faire pour r\u00e9duire le risque d’une course \u00e0 l’IA? Encourager \u00e0 grande \u00e9chelle l’entra\u00eenement \u00e0 la rationalit\u00e9 ou \u00e0 la b\u00e9n\u00e9volence va-t-il r\u00e9duire le risque li\u00e9 \u00e0 l’IA? Quelles interventions devrions-nous prioritiser?<\/p>\n
L’Action, Aujourd’hui<\/p>\n
Donc une parti de la solution au probl\u00e8me du risque li\u00e9 \u00e0 l’IA est le progr\u00e8s intellectuel diff\u00e9renci\u00e9. Une autre partie de la solution est d’agir sur les recommandations des meilleurs recherches en strat\u00e9gies que nous pouvons faire. Par exemple, les actions suivantes r\u00e9duisent probablement le risque de l’IA:<\/p>\n
Faire des dons \u00e0 des organisation qui font le genre de recherches techniques et strat\u00e9giques dont nous avons discut\u00e9 ci-dessus –des organisations comme le Machine Intelligence Research Institute et le Future of Humanity Institute.<\/p>\n
Persuader les gens de prendre la s\u00fbret\u00e9 de l’IA au s\u00e9rieux, surtout les chercheurs en IA, les philanthropes, les jeunes qui sont intelligents et les gens qui ont de l’influence.<\/p>\n
L’opportunit\u00e9<\/p>\n
Jusque l\u00e0 j’ai parl\u00e9 du risque li\u00e9 \u00e0 l’IA, mais il est important de ne pas perdre non plus de vue l’opportunit\u00e9 de l’IA:<\/p>\n
Nous n’associons pas d’habitude les traitements contre le cancer ou la stabilit\u00e9 \u00e9conomique avec l’intelligence artificielle, mais gu\u00e9rir le cancer est au fond un probl\u00e8me d’\u00eatre suffisamment intelligent pour le gu\u00e9rir, et atteindre la stabilit\u00e9 \u00e9conomique est au fond un probl\u00e8me d’\u00eatre suffisamment intelligent pour l’atteindre. Dans la mesure o\u00f9 nous avons des buts, nous avons des buts qui peuvent \u00eatre plus accomplis en utilisant une intelligence suffisamment avanc\u00e9e.<\/p>\n
Dans mon chapitre final, je vais essayer d’expliquer \u00e0 quel point la situation peut \u00eatre merveilleuse si nous d\u00e9cidons d’agir et de faire l’IA correctement.<\/p>\n
Oui, nous devons \u00eatre sens\u00e9s concernant le fait que rien dans les lois de la physique n’emp\u00eache des issues tr\u00e8s mauvaises. Mais nous devons aussi \u00eatre sens\u00e9s \u00e0 propos du fait que rien dans les lois de la physique n’emp\u00eache des issues avec une joie et une harmonie plus grande que nos cerveaux de singes primitifs ne peuvent imaginer.<\/p>","protected":false},"excerpt":{"rendered":"
Nous nous trouvons \u00e0 un moment crucial de l’histoire de la Terre. Tel un rocher perch\u00e9 sur le sommet d’une montagne, nous sommes dans une situation instable. Nous ne pouvons demeurer o\u00f9 nous sommes: L’IA arrive si on suppose que… continue reading<\/a> »<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_monsterinsights_skip_tracking":false,"_monsterinsights_sitenote_active":false,"_monsterinsights_sitenote_note":"","_monsterinsights_sitenote_category":0,"footnotes":""},"categories":[4],"tags":[],"class_list":["post-244","post","type-post","status-publish","format-standard","hentry","category-chapter"],"_links":{"self":[{"href":"https:\/\/intelligenceexplosion.com\/fr\/wp-json\/wp\/v2\/posts\/244","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/intelligenceexplosion.com\/fr\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/intelligenceexplosion.com\/fr\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/intelligenceexplosion.com\/fr\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/intelligenceexplosion.com\/fr\/wp-json\/wp\/v2\/comments?post=244"}],"version-history":[{"count":0,"href":"https:\/\/intelligenceexplosion.com\/fr\/wp-json\/wp\/v2\/posts\/244\/revisions"}],"wp:attachment":[{"href":"https:\/\/intelligenceexplosion.com\/fr\/wp-json\/wp\/v2\/media?parent=244"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/intelligenceexplosion.com\/fr\/wp-json\/wp\/v2\/categories?post=244"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/intelligenceexplosion.com\/fr\/wp-json\/wp\/v2\/tags?post=244"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}