Un jour, mon ami Niel a demand\u00e9 \u00e0 sont assistante virtuelle en Inde de lui trouver un v\u00e9lo qu’il pourrait acheter ce jour l\u00e0. Elle lui envoya une liste de v\u00e9los \u00e0 vendre dans le monde entier. Niel a dit \u00ab\u00a0Non, j’ai besoin d’un v\u00e9lo que je puisse acheter aujourd’hui \u00e0 Oxford, \u00e7a doit \u00eatre local.\u00a0\u00bb Elle lui envoya alors une longue liste de v\u00e9los disponibles \u00e0 Oxford, la plupart chers. Niel clarifia qu’il voulait un v\u00e9lo bon march\u00e9. Elle lui envoya alors une liste de v\u00e9los pour enfants. Il clarifia alors qu’il avait besoin d’un v\u00e9lo local, bon march\u00e9 qui convienne \u00e0 un homme adulte. Elle lui envoya alors une liste de v\u00e9los pour adultes \u00e0 Oxford qui avaient besoin d’\u00eatre r\u00e9par\u00e9s.<\/p>\n
D’habitude les humains comprennent les d\u00e9sires des autres mieux que cela. Notre unit\u00e9 psychologique qui vient de l’\u00e9volution fait que nous partageons un bon sens et des d\u00e9sires communs. Demandez moi de vous trouver un v\u00e9lo, et je vais supposer que vous en voulez un qui soit en \u00e9tat de marche, qui convienne \u00e0 votre taille, qui ne soit pas fait en or, etc. — bien que vous n’ayez rien dit de cela.<\/p>\n
Mais une architecture d’esprit diff\u00e9rente, une qui n’a pas \u00e9volu\u00e9 avec nous, ne va pas partager notre bon sens. Elle ne saura pas ce qui ne doit pas \u00eatre fait. Comment faites vous un g\u00e2teau? \u00ab\u00a0N’utilisez pas de calamar. N’utilisez pas de radiations gamma. N’utilisez pas de Toyotas.\u00a0\u00bb La liste de ce qui ne doit pas \u00eatre fait est sans fin.<\/p>\n
Certaines personnes pensent qu’une IA avanc\u00e9e serait une sorte de super majordome, faisant tout ce que vous lui demandez avec une efficacit\u00e9 incroyable. Mais il est plus correcte d’imaginer une pompe \u00e0 issues: un appareil non conscient qui rend certaines issues plus probables et d’autres issues moins probables. (La pompe \u00e0 issues n’est toutefois pas magique. Si vous lui demander une issue qui est trop improbable, elle va se casser).<\/p>\n
Maintenant, supposez que votre m\u00e8re est pi\u00e9g\u00e9e dans un immeuble en feu. Vous \u00eates dans une chaise roulante, donc vous ne pouvez pas l’aider directement. Mais vous avez une pompe \u00e0 issues:<\/p>\n
Vous criez \u00ab\u00a0Sortez ma m\u00e8re de l’immeuble!\u00a0\u00bb … et vous appuyer sur Entrer.<\/p>\n
Pendant un moment il semble que rien ne se passe. Vous regardez autour de vous, vous attendez que le camion de pompier s’arr\u00eate et que les secours arrivent — ou juste qu’un coureur rapide et fort tire votre m\u00e8re hors de l’immeuble —<\/p>\n
BOOM! Avec un grondement de tonnerre, la conduite de gaz principale sous l’immeuble explose. Alors que la structure se d\u00e9sint\u00e8gre, vous apercevez, comme si c’\u00e9tait un ralentit, le corps de votre m\u00e8re voler en \u00e9clats dans les airs, se d\u00e9pla\u00e7ant vite, augmentant rapidement sa distance \u00e0 ce qui \u00e9tait le centre de l’immeuble.<\/p>\n
Heureusement, la pompe \u00e0 issues a un bouton de regret qui annule ce qui s’est produit. Vous appuyez dessus et essayez \u00e0 nouveau. \u00ab\u00a0Sortez ma m\u00e8re de l\u00e0 sans faire exploser l’immeuble,\u00a0\u00bb dites-vous et vous appuyez sur Entrer.<\/p>\n
Alors votre m\u00e8re tombe par la fen\u00eatre et se brise la nuque.<\/p>\n
Apr\u00e8s une douzaine de nouvelles utilisations du bouton de regret, vous dites \u00e0 la pompe \u00e0 issues:<\/p>\n
Au cours des dix minutes qui suivent, bougez ma m\u00e8re (d\u00e9finie comme la femme qui partage la moiti\u00e9 de mes g\u00e8nes et qui m’a donn\u00e9 la vie) de sorte \u00e0 ce qu’elle soit assise confortablement dans cette chaise \u00e0 cot\u00e9 de moi sans dommages corporels ou mentaux.<\/p>\n
Vous regardez les treize pompiers se pr\u00e9cipiter tous ensemble dans la maison. Il se trouve que l’un d’entre eux trouve rapidement votre m\u00e8re et la sauve. Tous les autres meurent ou ont des blessures qui les rendent handicap\u00e9s. Le pompier d\u00e9pose votre m\u00e8re dans la chaise, puis se retourne pour examiner ses coll\u00e8gue morts et bless\u00e9s. Vous avez eu ce que vous avez souhait\u00e9, mais vous n’avez pas eu ce que vous vouliez.<\/p>\n
Le probl\u00e8me est que votre cerveau n’est pas assez large pour contenir toutes les affirmations qui sp\u00e9cifient tous les d\u00e9tails possibles de ce que vous voulez et de ce que vous ne voulez pas. Comment avez vous su que vous vouliez que votre m\u00e8re s’\u00e9chappe de l’immeuble en bonne sant\u00e9 sans tuer ou mutiler une douzaine de pompiers? Ce n’est pas parce que votre cerveau contenait quelque part l’affirmation \u00ab\u00a0Je veux que ma m\u00e8re s’\u00e9chappe de l’immeuble en bonne sant\u00e9 sans tuer ou mutiler une douzaine de pompiers\u00a0\u00bb. Au lieu de cela, vous avez vu votre m\u00e8re s’\u00e9chapper de l’immeuble en bonne sant\u00e9 alors qu’une douzaine de pompiers \u00e9taient morts ou mutil\u00e9s, et vous vous \u00eates rendu compte, \u00ab\u00a0Oh, merde. Je ne voulais pas cela.\u00a0\u00bb Ou vous auriez pu imaginer ce sc\u00e9nario sp\u00e9cifique et sous rendre compte, \u00ab\u00a0Oh, non, je ne veux pas cela.\u00a0\u00bb Mais rien de si sp\u00e9cifique n’a \u00e9t\u00e9 \u00e9crit quelque part dans votre cerveau avant que \u00e7a ne se passe, ou avant que vous n’imaginiez le sc\u00e9nario. Ce n’est pas possible; votre cerveau n’a pas la place.<\/p>\n
Mais vous ne pouvez pas vous permettre de rester assis l\u00e0, la pompe \u00e0 issues dans vos mains \u00e0 imaginer des millions d’issues possibles et \u00e0 remarquer celles vous voulez et celles que vous ne voulez pas. Votre m\u00e8re va mourir avant que vous ayez le temps de faire cela.<\/p>\n
Et si sa t\u00eate \u00e9tait \u00e9cras\u00e9e, laissant son corps? Et si son corps \u00e9tait \u00e9cras\u00e9, laissant sa t\u00eate? Et s’il y a une \u00e9quipe de cryonie qui attend dehors, pr\u00eate \u00e0 suspendre sa t\u00eate? Une t\u00eate congel\u00e9e est-elle une personne? Terry Schiavo est-il une personne? Combien vaut un chimpanz\u00e9?<\/p>\n
Cependant, votre cerveau n’est pas infiniment complexe. Il y a un certain ensemble fini d’affirmations qui peut d\u00e9crire le syst\u00e8me qui d\u00e9termine les jugements que vous feriez. Si nous comprenions comment chaque synapse, neurotransmetteur et prot\u00e9ine du cerveau fonctionnait, et si nous avions une carte compl\u00e8te de votre cerveau, alors une IA pourrait au moins en principe calculer quel jugements vous feriez \u00e0 propos d’un ensemble fini d’issues possibles.<\/p>\n
La morale est qu’il n’y a pas de souhait s\u00fbr qui soit plus petit qu’un syst\u00e8me complet de valeurs humaines.<\/p>\n
Il y a trop de chemins possibles \u00e0 travers le Temps. Vous ne pouvez pas visualiser toutes les routes qui m\u00e8nent \u00e0 la destination que vous donnez \u00e0 [la pompe \u00e0 issues]. \u00ab\u00a0Maximiser la distance entre votre m\u00e8re et le centre de l’immeuble\u00a0\u00bb peut \u00eatre fait de fa\u00e7on encore plus efficace en d\u00e9tonant une arme nucl\u00e9aire. … Ou, a des niveaux sup\u00e9rieurs d’intelligence de pompe \u00e0 issues, faire une chose \u00e0 laquelle ni vous ni moi ne penserions, de la m\u00eame mani\u00e8re qu’un chimpanz\u00e9 ne penserait pas \u00e0 d\u00e9tonner une arme nucl\u00e9aire. Vous ne pouvez pas visualiser tous les chemins \u00e0 travers le temps, pas plus que vous ne pouvez programmer une machine qui joue aux \u00e9checs en codant en dur un coup pour chaque configuration possible de l’\u00e9chiquier.<\/p>\n
Et la vie r\u00e9elle est bien plus compliqu\u00e9e que les \u00e9checs. Vous ne pouvez pas pr\u00e9dire \u00e0 l’avance, lesquelles de vos valeurs seront n\u00e9cessaires pour juger le chemin \u00e0 travers le temps que [la pompe \u00e0 issues] prend. Surtout si vous souhaitez quelque chose \u00e0 plus long terme ou \u00e0 plus grande \u00e9chelle que sauver votre m\u00e8re d’un immeuble en feu.<\/p>\n
… La seule [IA] s\u00fbre est une [IA] qui partage tous vos crit\u00e8res de jugement, et dans ces conditions, vous pouvez juste dire \u00ab\u00a0Je souhaite que vous fassiez ce que je devrais souhaiter\u00a0\u00bb.<\/p>\n
Il y a toute une industrie o\u00f9 les gens proposent Le Principe Simple qui va faire faire \u00e0 l’IA ce que nous voulons. Aucuns d’eux ne va marcher. Nous n’agissons pas seulement pour le bonheur ou le plaisir \u00e0 lui seul. Ce \u00e0 quoi nous donnons de la valeur est tr\u00e8s complexe. L’\u00e9volution nous a donn\u00e9 un millier de fragments de d\u00e9sire. (Pour voir le d\u00e9sordre que cela cr\u00e9e dans votre neurobiologie, lisez les deux premiers chapitres de Neuroscience of Preference and Choice.)<\/p>\n
C’est aussi pourquoi les philosophes de la morale ont pass\u00e9 des milliers d’ann\u00e9es \u00e0 \u00e9chouer \u00e0 trouver un ensemble simple de principes qui, s’ils sont appliqu\u00e9s cr\u00e9eraient un monde que nous voudrions. Chaque fois que quelqu’un propose un petit ensemble de principes moraux, quelqu’un d’autre montre o\u00f9 sont les failles. Laissez de cot\u00e9 quelque chose, m\u00eame quelque chose qui semble trivial, et la situation peut devenir d\u00e9sastreuse:<\/p>\n
Consid\u00e9rez la valeur humaine incroyablement importante de \u00ab\u00a0l’ennui\u00a0\u00bb — notre d\u00e9sire de ne pas faire \u00ab\u00a0la m\u00eame chose\u00a0\u00bb beaucoup de fois d’affiler. Vous pouvez imaginer un esprit qui contiendrait la sp\u00e9cification presque compl\u00e8te des valeurs humaine, presque toutes les morales et les m\u00e9ta-morales, mais qui laisserait de cot\u00e9 juste cette chose–<\/p>\n
— et alors, jusqu’\u00e0 la fin des temps, et jusqu’aux confins de son c\u00f4ne de lumi\u00e8re (portion de l’espace-temps atteignable par la lumi\u00e8re), il passera son temps \u00e0 rejouer une exp\u00e9rience optimis\u00e9e, encore et encore.<\/p>\n
Ou imaginez un esprit qui contient presque toute la sp\u00e9cification des sentiments que les humains appr\u00e9cient le plus — mais pas l’id\u00e9e que ces sentiments aient d’importants r\u00e9f\u00e9rents ext\u00e9rieurs. Alors l’esprit va juste sentir qu’il a fait une d\u00e9couverte importante, sentir qu’il a trouv\u00e9 l’amour parfait, sentir qu’il a aid\u00e9 un ami, mais en r\u00e9alit\u00e9 il ne fera rien de cela, \u00e9tant devenu sa propre machine \u00e0 exp\u00e9rience. Et si l’esprit poursuivait ces sentiments et leurs r\u00e9f\u00e9rents, ce serait un bon et vrai futur, mais parce que cette seule dimension des valeurs a \u00e9t\u00e9 laiss\u00e9e de cot\u00e9, le future est devenu ennuyeux. Ennuyeux et r\u00e9p\u00e9titif, car bien que cet esprit sente qu’il rencontre des exp\u00e9riences d’une nouveaut\u00e9 incroyable, ce sentiment n’est aucunement vrai.<\/p>\n
Ou le probl\u00e8me contraire: un agent qui contient tous les aspects des valeurs humaines sauf la valeur de l’exp\u00e9rience subjective. Le r\u00e9sultat est alors un optimiseur non conscient qui ferait des d\u00e9couvertes authentiques, mais les d\u00e9couvertes ne seraient pas savour\u00e9es ou appr\u00e9ci\u00e9es car il n’y aurait personne pour en \u00eatre conscient…<\/p>\n
Vous pouvez voir o\u00f9 cela nous m\u00e8ne. Puisque nous n’avons jamais d\u00e9cod\u00e9 un syst\u00e8me entier de valeurs humaines, nous ne savons pas quelles valeurs donner \u00e0 une IA. Nous ne savons pas ce que nous souhaitons cr\u00e9er. Si on cr\u00e9ait une IA super-humaine demain, nous ne pourrions lui donner qu’un syst\u00e8me de valeurs incomplet et d\u00e9sastreux, et elle ferait des choses que nous ne voulons pas, parce qu’elle ferait ce que nous avons souhait\u00e9 plut\u00f4t que ce que nous voulions.<\/p>\n
Aujourd’hui, nous ne savons que construire des IA qui optimisent pour des buts autres que ce que nous voulons. Nous ne savons que construire des IA dangereuses. Pire, nous apprenons \u00e0 cr\u00e9er des IA s\u00fbrs bien plus lentement que nous apprenons \u00e0 cr\u00e9er des IA puissantes, parce que nous affectons plus de ressources aux probl\u00e8mes de la capacit\u00e9 de l’IA que nous en affectons aux probl\u00e8mes de la s\u00fbret\u00e9 de l’IA.<\/p>\n
Le temps presse. L’IA arrive. Et nous ne sommes pas pr\u00eats.<\/p>","protected":false},"excerpt":{"rendered":"
Un jour, mon ami Niel a demand\u00e9 \u00e0 sont assistante virtuelle en Inde de lui trouver un v\u00e9lo qu’il pourrait acheter ce jour l\u00e0. Elle lui envoya une liste de v\u00e9los \u00e0 vendre dans le monde entier. Niel a dit… continue reading<\/a> »<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_monsterinsights_skip_tracking":false,"_monsterinsights_sitenote_active":false,"_monsterinsights_sitenote_note":"","_monsterinsights_sitenote_category":0,"footnotes":""},"categories":[4],"tags":[],"class_list":["post-228","post","type-post","status-publish","format-standard","hentry","category-chapter"],"_links":{"self":[{"href":"https:\/\/intelligenceexplosion.com\/fr\/wp-json\/wp\/v2\/posts\/228","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/intelligenceexplosion.com\/fr\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/intelligenceexplosion.com\/fr\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/intelligenceexplosion.com\/fr\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/intelligenceexplosion.com\/fr\/wp-json\/wp\/v2\/comments?post=228"}],"version-history":[{"count":0,"href":"https:\/\/intelligenceexplosion.com\/fr\/wp-json\/wp\/v2\/posts\/228\/revisions"}],"wp:attachment":[{"href":"https:\/\/intelligenceexplosion.com\/fr\/wp-json\/wp\/v2\/media?parent=228"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/intelligenceexplosion.com\/fr\/wp-json\/wp\/v2\/categories?post=228"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/intelligenceexplosion.com\/fr\/wp-json\/wp\/v2\/tags?post=228"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}