{"id":117,"date":"2011-12-15T13:17:44","date_gmt":"2011-12-15T21:17:44","guid":{"rendered":"http:\/\/facingthesing.wpengine.com\/?p=117"},"modified":"2014-12-01T13:46:52","modified_gmt":"2014-12-01T21:46:52","slug":"not-built-to-think-about-ai","status":"publish","type":"post","link":"https:\/\/intelligenceexplosion.com\/sk\/2011\/not-built-to-think-about-ai\/","title":{"rendered":"Nie sme pripraven\u00ed rozm\u00fd\u0161\u013ea\u0165 o UI"},"content":{"rendered":"

<\/p>\n

V<\/span>o filmoch Termin\u00e1tor<\/em> umel\u00e1 inteligencia Skynet<\/a> z\u00edska vedomie seba, zabije miliardy \u013eud\u00ed, a rozo\u0161le zabij\u00e1cke roboty, aby vyhladili zost\u00e1vaj\u00face skupiny \u013eudsk\u00fdch partiz\u00e1nov. To znie dos\u0165 zle, ale v rel\u00e1cii NPR<\/em> o Singularite<\/a>, program\u00e1tor z eBayu, Keefe Roedersheimer, vysvetlil, \u017ee vytvorenie skuto\u010dnej<\/em> strojovej superinteligencie by bolo omnoho hor\u0161ie<\/em> ne\u017e toto.<\/p>\n

\u201eHor\u0161ie ne\u017e Termin\u00e1tor<\/em>?\u201c op\u00fdtal sa Martin Kaste z NPR<\/em>.<\/p>\n

\u201eOve\u013ea, ove\u013ea hor\u0161ie,\u201c povedal Keefe.<\/p>\n

\u201eVe\u010f to je mesa\u010dn\u00e1 krajina s \u013eu\u010fmi, ktor\u00ed sa schov\u00e1vaj\u00fa pod vyp\u00e1len\u00fdmi budovami pred laserov\u00fdmi strelami. \u010co by tak mohlo by\u0165 hor\u0161ie ne\u017e toto<\/em>?\u201c<\/p>\n

\u201eV\u0161etci \u013eudia m\u0155tvi.\u201c<\/p>\n

Pre\u010do to povedal? Pri v\u00e4\u010d\u0161ine cie\u013eov, ktor\u00e9 by UI mohla ma\u0165 \u2013 \u010di u\u017e je to vyrie\u0161enie Riemannovej hypot\u00e9zy<\/a> alebo maximaliz\u00e1cia produkcie ropy \u2013 jednoduch\u00fd d\u00f4vod je<\/a>, \u017ee \u201eUI \u0165a ani nemiluje, ani nenen\u00e1vid\u00ed, ale sklad\u00e1\u0161 sa z at\u00f3mov, ktor\u00e9 m\u00f4\u017ee pou\u017ei\u0165 na nie\u010do in\u00e9\u201c. A ke\u010f si nad\u013eudsk\u00e1 UI v\u0161imne, \u017ee \u013eudia sa asi bud\u00fa br\u00e1ni\u0165<\/em> tomu, aby sa ich at\u00f3my pou\u017eili na \u201enie\u010do in\u00e9\u201c, a\u00a0t\u00fdm bud\u00fa ohrozova\u0165<\/em> UI a jej ciele, bude ma\u0165 motiv\u00e1ciu zlikvidova\u0165 n\u00e1s tak r\u00fdchlo, ako sa len d\u00e1<\/em> \u2013 a\u00a0nie sp\u00f4sobom, ktor\u00fd odhal\u00ed jej kritick\u00e9 slab\u00e9 miesto neohrozen\u00e9mu t\u00edmu hrdinov, ktor\u00ed dok\u00e1\u017eu zachr\u00e1ni\u0165 svet, pokia\u013e sa dok\u00e1\u017eu povznies\u0165 nad svoje rozdiely… Nie. Pre v\u00e4\u010d\u0161inu cie\u013eov, ktor\u00e9 UI m\u00f4\u017ee ma\u0165, zlikvidova\u0165 \u013eudsk\u00fa hrozbu t\u00fdmto cie\u013eom, tak efekt\u00edvne, ako sa len d\u00e1, bude maximalizova\u0165 o\u010dak\u00e1van\u00fd \u00fa\u017eitok<\/a> UI.<\/p>\n

\"\"A povedzme si na rovinu: existuj\u00fa \u013eah\u0161ie sp\u00f4soby, ako zabi\u0165 n\u00e1s \u013eud\u00ed, ne\u017e posiela\u0165 humanoidn\u00fdch<\/em> robotov, ktor\u00ed chodia<\/em> po zemi<\/em> a zrejme radi h\u00e1d\u017eu \u013eud\u00ed o steny namiesto toho, aby im jednoducho vykr\u00fatili krky. Omnoho lep\u0161\u00ed \u00fatok by bol ne\u010dakan\u00fd \u00fatok na \u013eud\u00ed, p\u00f4sobiaci na celom svete z\u00e1rove\u0148, prudko smrtiaci, a odol\u00e1vaj\u00faci dostupn\u00fdm protiopatreniam. Napr\u00edklad: Pre\u010do nevyu\u017ei\u0165 cel\u00fa t\u00fato superinteligenciu na zostrojenie vzduchom pren\u00e1\u0161an\u00e9ho, vysoko n\u00e1kazliv\u00e9ho smrtiaceho v\u00edrusu? Mut\u00e1cia chr\u00edpky v roku 1918<\/a> zabila 3% obyvate\u013estva Zeme, a to bolo sk\u00f4r, ne\u017e sa leteck\u00e1 doprava (ktor\u00e1 \u0161\u00edri choroby po celej plan\u00e9te) stala be\u017enou, a do n\u00e1vrhu v\u00edrusu nebol zapojen\u00fd ani gram inteligencie. Pou\u017eime trochu inteligencie, a t\u00edm z Nizozemska vytvor\u00ed variant vt\u00e1\u010dej chr\u00edpky, ktor\u00fd by \u201edok\u00e1zal zabi\u0165 polovicu \u013eudstva<\/a>.\u201c. Superinteligencia by vedela vytvori\u0165 nie\u010do omnoho hor\u0161ie. Pr\u00edpadne by sa UI mohla ukry\u0165 pod zem alebo vystreli\u0165 do vesm\u00edru a zabi\u0165 n\u00e1s pomocou existuj\u00facej<\/em> technol\u00f3gie: nieko\u013ek\u00fdch tis\u00edcov jadrov\u00fdch zbran\u00ed<\/a>.<\/p>\n

Pointa nie je v tom, \u017ee by niektor\u00fd z t\u00fdchto konkr\u00e9tnych<\/em> scen\u00e1rov bol pravdepodobn\u00fd. Sna\u017e\u00edm sa iba uk\u00e1za\u0165, \u017ee skuto\u010dn\u00e1 situ\u00e1cia m\u00f4\u017ee samozrejme by\u0165 omnoho hor\u0161ia ne\u017e t\u00e1, z ktorej vznik\u00e1 dobr\u00fd pr\u00edbeh. Ako povedal<\/a> oxfordsk\u00fd filozof Nick Bostrom:<\/p>\n

\n

Kedy ste naposledy videli film o tom, ako \u013eudstvo n\u00e1hle vyhynulo (bez varovania a\u00a0bez\u00a0nahradenia nejakou inou civiliz\u00e1ciou)?<\/p>\n<\/blockquote>\n

Je to lep\u0161\u00ed pr\u00edbeh, ak m\u00e1 ka\u017ed\u00e1 strana re\u00e1lnu \u0161ancu vyhra\u0165 boj. P\u00e1na prste\u0148ov<\/em> by sa nepredalo to\u013eko k\u00f3pi\u00ed, keby Frodo urobil rozumn\u00fa vec a hodil by prste\u0148 do sopky<\/a> z chrbta obrovsk\u00e9ho orla. Takisto nie je zauj\u00edmav\u00fd pr\u00edbeh, kde \u013eudstvo n\u00e1hle prehr\u00e1<\/em>, bodka.<\/p>\n

Ke\u010f rozm\u00fd\u0161\u013eame o UI, nesmieme zov\u0161eobec\u0148ova\u0165 pod\u013ea fikt\u00edvnych d\u00f4kazov<\/a>. Nane\u0161\u0165astie, na\u0161e mozgy to robia automaticky<\/em>.<\/p>\n

V zn\u00e1mej \u0161t\u00fadii z roku 1978<\/a> sa p\u00fdtali pokusn\u00fdch os\u00f4b, ktor\u00e9 z dvoch nebezpe\u010denstiev sa st\u00e1va \u010dastej\u0161ie. Pokusn\u00e9 osoby si mysleli, \u017ee nehody sp\u00f4sobuj\u00fa zhruba rovnako ve\u013ea \u00famrt\u00ed ako choroby, a \u017ee vra\u017edy s\u00fa \u010dastej\u0161ie ako samovra\u017edy. V skuto\u010dnosti choroby sp\u00f4sobuj\u00fa 16-kr\u00e1t viac \u00famrt\u00ed ne\u017e nehody, a samovr\u00e1\u017ed je dvakr\u00e1t viac ne\u017e vr\u00e1\u017ed. \u010co sa stalo?<\/p>\n

Tucty \u0161t\u00fadi\u00ed o heuristike dostupnosti<\/a> nazna\u010duj\u00fa, \u017ee frekvenciu alebo pravdepodobnos\u0165 javov posudzujeme pod\u013ea toho, ako \u013eahko si na ne spomenieme<\/em>. To nie je zl\u00fd v\u00fdsledok na heuristiku, ktor\u00e1 sa vyvinula v pravekom prostred\u00ed, kde sme si nemohli skuto\u010dn\u00e9<\/em> frekvencie overi\u0165 na\u00a0Wikip\u00e9dii, ani spr\u00e1vne<\/em> pravdepodobnosti vypo\u010d\u00edta\u0165 pomocou Bayesovej vety<\/a>. T\u00e1to heuristika mozgu je r\u00fdchla, lacn\u00e1, a \u010dasto spr\u00e1vna.<\/p>\n

Ale podobne ako mnoh\u00e9 na\u0161e vyvinut\u00e9 kognit\u00edvne heuristiky, heuristika dostupnosti \u010dasto d\u00e1va nespr\u00e1vny v\u00fdsledok. Nehody s\u00fa \u013eah\u0161ie na predstavivos\u0165 ne\u017e choroby, a preto si na ne \u013eah\u0161ie spomenieme, \u010do sp\u00f4sobuje, \u017ee prece\u0148ujeme ich frekvenciu v porovnan\u00ed s chorobami. To ist\u00e9 plat\u00ed pre vra\u017edy a samovra\u017edy.<\/p>\n

Heuristika dostupnosti vysvet\u013euje<\/a> aj to, pre\u010do si \u013eudia myslia, \u017ee lietanie je nebezpe\u010dnej\u0161ie ne\u017e jazda autom, hoci pravdou je opak: hav\u00e1rie lietadiel s\u00fa v\u00fdraznej\u0161ie a viac sa o nich informuje, ke\u010f sa stan\u00fa, preto s\u00fa dostupnej\u0161ie v na\u0161ej pam\u00e4ti, a mozog klame s\u00e1m seba, \u017ee dostupnos\u0165<\/em> udalosti nazna\u010duje jej pravdepodobnos\u0165<\/em>.<\/p>\n

\u010co rob\u00ed v\u00e1\u0161 mozog, ke\u010f rozm\u00fd\u0161\u013ea o nad\u013eudskej UI? S najv\u00e4\u010d\u0161ou pravdepodobnos\u0165ou si vybavuje v\u0161etky pr\u00edklady nad\u013eudskej UI, s ktor\u00fdmi ste sa stretli \u2013 a\u00a0\u010do je hor\u0161ie, v\u0161etky s\u00fa vymyslen\u00e9<\/em> \u2013 a posudzuje pravdepodobnos\u0165 jednotliv\u00fdch scen\u00e1rov pod\u013ea toho, ako dobre zapadaj\u00fa do scen\u00e1rov, na ktor\u00e9 si naj\u013eah\u0161ie spomenie (preto\u017ee sa s nimi stretol vo vymyslenom pr\u00edbehu). In\u00fdmi slovami<\/a>: \u201eZapam\u00e4tan\u00e9 pr\u00edbehy vtrhn\u00fa do mozgu a urobia myslenie za teba.\u201c<\/p>\n

Tak\u017ee, ak m\u00e1\u0161 intu\u00edcie o tom, ak\u00e1 bude nad\u013eudsk\u00e1 UI, pravdepodobne sa zakladaj\u00fa na\u00a0rozpr\u00e1vkach<\/em>, a ani si to neuvedomuje\u0161.<\/p>\n

To je d\u00f4vod, pre\u010do som Zo\u010di-vo\u010di Singularite<\/em> za\u010dal rozpr\u00e1van\u00edm o rozumnosti<\/a>. Akon\u00e1hle za\u010dneme rozm\u00fd\u0161\u013ea\u0165 nad UI, be\u017e\u00edme v \u00fastrety h\u00fa\u0161tine typick\u00fdch \u013eudsk\u00fdch omylov. Zov\u0161eobec\u0148ovanie pod\u013ea fikt\u00edvnych d\u00f4kazov je jedn\u00fdm z nich. Tu je p\u00e1r \u010fal\u0161\u00edch<\/a>:<\/p>\n