<\/p>\n
U<\/b>n giorno, il mio amico Niel chiese al suo assistente<\/a><\/u> virtuale <\/a><\/u>in India di trovargli una bici che potesse utilizzare quel giorno. Lei gli restitu\u00ec una lista di bici in vendita in tutto il mondo. Niel disse, \u201cNo, me ne serve una che posso acquistare ad Oxford<\/i> oggi. Dev\u2019essere una cosa locale.\u201d Cos\u00ec lei gli mand\u00f2 una lunga lista di bici disponibili ad Oxford, la maggior parte delle quali molto costose. Niel precis\u00f2 che voleva una bici non troppo costosa. E lei gli invi\u00f2 una lista di bici da bambino. Lui precis\u00f2 ulteriormente che voleva una bici locale, economica che andasse bene per un adulto. E lei gli invi\u00f2 una lista di bici da adulto, in Oxford, che avevano bisogno di una riparazione.<\/p>\n Di norma, gli umani comprendono i desideri degli altri meglio di cos\u00ec. La nostra unit\u00e0<\/a><\/u> psicologica <\/a><\/u>ci permette di condividere buon senso e desideri. Chiedetemi di trovarvi una bici, e io presumer\u00f2<\/i> che ne vogliate una funzionante, adatta alla vostra corporatura, non di oro massiccio, ecc.\u2014anche se in realt\u00e0 non avete esplicitato <\/i>nessuna di queste preferenze.<\/p>\n Ma una diversa architettura mentale, una che non si sia evoluta con noi, non condividerebbe il nostro \u201cbuon senso\u201d. Non saprebbe cosa non <\/i>fare. Come preparare una torta? \u201cNon usare le seppie. Non usare radiazioni Gamma. Non usare veicoli Toyota.\u201d La lista di cose da non<\/i> fare sarebbe infinita.<\/p>\n Alcune persone pensano che un\u2019AI avanzata sar\u00e0 un qualche tipo di super-maggiordomo, che esaudir\u00e0 ogni richiesta con incredibile efficienza<\/a><\/u>. Ma sarebbe pi\u00f9 accurato immaginarlo come un Produttore di Risultati<\/a><\/u>: un dispositivo non senziente che rende alcuni risultati pi\u00f9 probabili e altri risultati meno probabili. (Il Produttore di Risultati non \u00e8 magico, tuttavia. Se chiedi un risultato troppo<\/i> improbabile, finir\u00e0 per rompersi.)<\/p>\n Supponiamo ora che vostra madre sia intrappolata in un edificio in fiamme. Siete su una sedia a rotelle, quindi non potete aiutarla direttamente. Per un istante sembra che non avvenga nulla. Vi guardate intorno, aspettando che arrivi la camionetta dei pompieri coi soccorritori\u2014o anche solo un rapido e determinato soccorritore che tiri tua madre fuori dall\u2019edificio\u2014<\/p>\n BOOM! Con un tuono assordante, la condotta principale del gas sotto l\u2019edificio esplode. Mentre la struttura si apre in due, in quello che sembra un ralenti, scorgete il corpo martoriato di vostra madre scagliato in aria, mentre aumenta a tutta velocit\u00e0 la sua distanza da quel che era il centro dell\u2019edificio.<\/p>\n Per fortuna il Produttore di Risultati ha un tasto \u201cRipensamento\u201d, che riavvolge il tempo. Lo schiacciate e riprovate; stavolta dite: \u201cPorta mia madre fuori dall\u2019edificio senza far esplodere l\u2019edificio<\/i>\u201d, e premete Invio.<\/p>\n Cos\u00ec lei cade dalla finestra e si rompe l\u2019osso del collo.<\/p>\n Dopo aver schiacciato una dozzina di volte il tasto \u201cRipensamento\u201d, dite al Produttore di Risultati:<\/p>\n Nei prossimi dieci minuti, sposta mia madre (definita come la donna con cui condivido met\u00e0 dei geni e che mi ha dato la nascita) in modo che si possa sedere confortevolmente sulla sua sedia di fianco a me, senza danno fisico o mentale.<\/p>\n Questa volta vedete tredici pompieri accorere intorno all\u2019edificio in tutta fretta. Uno di loro intravede subito tua madre e la mette in salvo. Tutti gli altri muoiono o accusano sofferenze atroci. Il pompiere accomoda tua madre sulla sedia, poi volge il suo sguardo sui colleghi morti o sofferenti. Il problema \u00e8 che il vostro cervello non \u00e8 abbastanza grande da contenere affermazioni che specifichino ogni possibile dettaglio di cosa volete o non volete. Come potevate sapere di volere che vostra madre uscisse dall\u2019edificio in buono stato senza<\/i> uccidere o mutilare una dozzina di pompieri? Non \u00e8 che da qualche parte nel vostro cervello ci fosse l\u2019affermazione \u201cVoglio che mia madre esca dall\u2019edificio in buona salute senza che una dozzina di pompieri muoiano o restino mutilati per questo.\u201d Piuttosto, voi avete visto<\/i> vostra madre uscire dall\u2019edificio in buona salute mentre una dozzina di pompieri morivano o restavano amputati, e vi siete detti: \u201cOh, merda. Non \u00e8 questo<\/i> che volevo.\u201d Oppure potreste essere stati in grado di immaginare quello specifico scenario e dire: \u201cOh, no, non \u00e8 ci\u00f2 che voglio.\u201d Ma nulla di cos\u00ec specifico \u00e8 mai stato scritto nel vostro cervello prima che avvenisse, o prima che vi immaginassi tale scenario. Non avrebbe potuto; nel vostro cervello non c\u2019\u00e8 abbastanza spazio.<\/p>\n D\u2019altronde non potete permettervi di stare l\u00ec, col Produttore di Risultati in mano, a immaginare milioni di possibili risultati e sceverare quali volete e quali no. Vostra madre morir\u00e0, prima che<\/a><\/u> <\/a><\/u>abbiate il tempo di fare una cosa simile<\/a><\/u>.<\/p>\n Se si rompesse la testa, che abbandonerebbe il corpo? Se si rompesse invece il corpo, lasciando solo la sua testa? E se ci fosse un team di crionica, l\u00e0 fuori, pronto a sospendere la testa? Una testa congelata \u00e8 una persona? Terry Schiavo \u00e8 una persona? Quanto vale uno scimpanz\u00e9?<\/p>\n Tuttavia, il vostro cervello non \u00e8 infinitamente<\/i> complesso. C\u2019\u00e8 un set limitato di affermazioni che potrebbero determinare il sistema che determina i giudizi che formulereste. Se comprendessimo il funzionamento di ogni sinapsi e neurotrasmettitore e proteina del cervello, e avessimo una mappa completa del vostro cervello, allora un\u2019AI potrebbe, almeno in linea di principio, calcolare quali giudizi fareste su un set finito di possibili risultati.<\/p>\n La morale \u00e8 che non esiste un <\/a><\/u>\u201cobiettivo sicuro\u201d le cui ramificazioni siano pi\u00f9 piccole di un intero sistema di valori umani<\/a><\/u>:<\/p>\n Ci sono troppi percorsi possibili attraverso il Tempo. Non potete visualizzare tutte le strade che portano alla destinazione che date al [Produtore di Risultati]. \u201cMassimizzare la distanza tra vostra madre e il centro dell\u2019edificio\u201d pu\u00f2 essere fatto ancora pi\u00f9 efficacemente detonando un\u2019arma nucleare…. Oppure, ai pi\u00f9 alti livelli dell\u2019intelligenza del [Produttore di Risultati], fare qualcosa cui n\u00e9 io n\u00e9 voi avremmo pensato, proprio come uno scimpanz\u00e9 non penserebbe di far detonare un\u2019arma nucleare. Non potete visualizzare tutti i percorsi nel corso del tempo, non pi\u00f9 di quanto possiate programmare un giocatore di scacchi codificando una mossa per ogni possibile posizione sulla scacchiera.<\/p>\n E la vita reale \u00e8 molto pi\u00f9 complicata degli scacchi. Non puoi prevedere, a priori, quale dei nostri valori si riveleranno necessari a prevedere il percorso che il [Produttore di Risultati] prende nel tempo. Specialmente se desiderate qualcosa a pi\u00f9 lungo termine o lungo raggio del soccorrere vostra madre da un edificio in fiamme.<\/p>\n … L\u2019unica [AI sicura] \u00e8 quella che condivide ogni vostro criterio di giudizio, e a quel punto potete semplicemente dire \u201cDesidero che tu faccia quello che io vorrei fare.\u201d<\/p>\n C\u2019\u00e8 tutta un\u2019industria di persone che propongono il Singolo Principio che far\u00e0 fare alla AI ci\u00f2 che vogliamo. Niente del genere funzioner\u00e0 mai<\/a><\/u>. Non agiamo solo per la sola felicit\u00e0<\/a><\/u> o piacere<\/a><\/u>. Ci\u00f2 a cui diamo valore \u00e8 altamente complesso<\/a><\/u>. L\u2019evoluzione vi ha dato mille sfumature diverse di desiderio<\/a><\/u>. (Per vedere il casino che questo combina nella vostra neurobiologia, leggete i primi due capitoli di Neuroscience of Preference and<\/a><\/i><\/u> <\/a><\/u>Choice<\/a><\/i><\/u>.)<\/p>\n Ecco spiegato anche perch\u00e9 i filosofi morali hanno speso migliaia di anni senza riuscire<\/i> a trovare un semplice set di principi che, se solo messi in pratica, creerebbero il mondo che vogliamo. Ogni volta che qualcuno propone un piccolo set di principi morali, qualcun altro ne mostra le lacune<\/a><\/u>. Dimentica un dettaglio, anche uno apparentemente triviale, e le cose possono finire disastrosamente male<\/a><\/u>:<\/p>\n Considera il valore umano incredibilmente importante della <\/a><\/u>\u201cnoia\u201d<\/a><\/u>\u2014il nostro desiderio di non fare \u201cla stessa cosa\u201d in continuazione. Puoi immaginare una mente che contenga quasi <\/i>l\u2019intera specifica del valore umano, quasi tutte le morali e metamorali, ma lasci fuori quell\u2019ultima cosa<\/i>\u2014<\/p>\n \u2014e quindi spese tutto il tempo, fino al suo ultimissimo istante di vita, ripetendo una singola esperienza altamente ottimizzata, in continuazione.<\/p>\n Oppure immaginate una mente che contenga quasi l\u2019intera specifica di quale tipo di sensazioni gli umani apprezzino di pi\u00f9\u2014 ma non l\u2019idea che queste sensazioni abbiano dei referenti esterni <\/i>importanti. Per cui la mente se ne andrebbe in giro sentendo<\/i> di aver fatto una scoperta importante, sentendo<\/i> di aver trovato l\u2019amore della sua vita, sentendo<\/i> di aver aiutato un amico, ma senza aver effettivamente fatto<\/i> nessuna di queste cose, e diventando di fatto il suo stesso produttore di esperienze<\/a><\/u>. E se la mente ricercasse queste sensazioni e i loro referenti<\/i>, sarebbe un futuro bello e vero; ma siccome questa singola dimensione<\/i> del valore era rimasta, il futuro divenne un qualcosa di ripetitivo. Noioso e ripetitivo, perch\u00e9 sebbene la mente sentisse<\/i> di incontrare esperienze di incredibile novit\u00e0, questa sensazione non era in alcun modo vera.<\/p>\n Oppure il problema opposto: un agente che contiene tutti gli aspetti del valore umano, eccetto<\/i> la valutazione dell\u2019esperienza soggettiva. Cos\u00ec che il risultato sia un ottimizzatore non senziente che va in giro a fare scoperte genuine, ma le scoperte non sono godute e assaporate, perch\u00e9 non c\u2019\u00e8 nessuno a farlo…<\/p>\n Quella del valore non \u00e8 una faccenda solo complicata, ma anche fragile<\/i>. Esiste pi\u00f9 di una dimensione<\/i> del valore umano, dove se quella singola cosa si perde<\/i>, il Futuro si azzera. Un singolo<\/i> cedimento e tutti<\/i> i valori crollano. Non ogni singolo cedimento far\u00e0 crollare ogni<\/i> valore\u2014ma pi\u00f9 di un possibile \u201csingolo cedimento\u201d lo far\u00e0.<\/p>\n Potete vedere dove porta tutto questo. Siccome non abbiamo mai decodificato un intero sistema di valori umani, non sappiamo quali valori dare a una AI. Non sappiamo quali desideri esprimere. Se creassimo una AI superumana domani, potremmo darle solo un sistema di valori disastrosamente incompleto, e poi continuerebbe a fare cose che non vogliamo, perch\u00e9 farebbe ci\u00f2 che le chiediamo <\/i>invece di ci\u00f2 che vogliamo<\/i>.<\/p>\n Per il momento, sappiamo solo come costruire AI che ottimizzino qualcosa di diverso<\/i> da ci\u00f2 che vogliamo. Sappiamo solo come costruire AI pericolose. E quel che peggio, stiamo imparando come costruire delle AI sicure <\/i>molto pi\u00f9 lentamente di quanto stiamo imparando a costruire delle AI potenti<\/i>, perch\u00e9 stiamo devolvendo pi\u00f9 risorse ai problemi delle funzionalit\u00e0<\/i> dell\u2019AI che ai problemi legati alla sicurezza<\/i> delle AI.<\/p>\n L\u2019orologio ticchetta. L<\/a><\/u>\u2019<\/a><\/u>AI sta arrivando<\/a><\/u>. E noi non siamo pronti.<\/p>\n <\/p>","protected":false},"excerpt":{"rendered":" Un giorno, il mio amico Niel chiese al suo assistente virtuale in India di trovargli una bici che potesse utilizzare quel giorno. Lei gli restitu\u00ec una lista di bici in vendita in tutto il mondo. Niel disse, \u201cNo, me ne… continue reading<\/a> »<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_monsterinsights_skip_tracking":false,"_monsterinsights_sitenote_active":false,"_monsterinsights_sitenote_note":"","_monsterinsights_sitenote_category":0,"footnotes":""},"categories":[4],"tags":[],"class_list":["post-228","post","type-post","status-publish","format-standard","hentry","category-chapter"],"_links":{"self":[{"href":"https:\/\/intelligenceexplosion.com\/it\/wp-json\/wp\/v2\/posts\/228","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/intelligenceexplosion.com\/it\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/intelligenceexplosion.com\/it\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/intelligenceexplosion.com\/it\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/intelligenceexplosion.com\/it\/wp-json\/wp\/v2\/comments?post=228"}],"version-history":[{"count":0,"href":"https:\/\/intelligenceexplosion.com\/it\/wp-json\/wp\/v2\/posts\/228\/revisions"}],"wp:attachment":[{"href":"https:\/\/intelligenceexplosion.com\/it\/wp-json\/wp\/v2\/media?parent=228"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/intelligenceexplosion.com\/it\/wp-json\/wp\/v2\/categories?post=228"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/intelligenceexplosion.com\/it\/wp-json\/wp\/v2\/tags?post=228"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}
\nMa avete un Produttore di Risultati<\/a><\/u>: pertanto, gridate \u201cFai uscire mia madre fuori dall\u2019edificio!\u201d… e premi Invio.<\/p>\n
\nHai avuto quello che hai chiesto, ma non quello che volevi<\/i>.<\/p>\n