Antropomorfizăm AI-ul fără să ne dăm seama. Ne imaginăm că gândește ca un om, când de fapt două AI-uri pot fi mai diferite între ele decât suntem noi de o petunie (exemplul lui).
Subestimăm ce înseamnă inteligența. Ne gândim la diferența dintre un om obișnuit și Einstein, dar diferența care contează e cea dintre om și șoarece. Nu i-am bătut pe lupi cu gheare și colți, am inventat noi terenul de joc.
Faptul că un AI poate face ceva nu înseamnă că și vrea să facă. El îi zice „giant cheesecake fallacy” și merge în ambele sensuri, și pentru scenariile apocaliptice, și pentru cele utopice.
Partea cea mai bună e cu eșecurile tehnice. Armata americană a antrenat o rețea neuronală să recunoască tancuri camuflate. În teste mergea perfect, în realitate deloc, pentru că pozele cu tancuri fuseseră făcute pe vreme înnorată și cele fără tancuri pe soare. Rețeaua învățase vremea, nu tancurile. Asta e riscul real: sistemul merge impecabil cât îl testezi și o ia razna când se schimbă contextul. Cine lucrează azi cu agenți AI cunoaște senzația.
Apoi explozia de inteligență. O compară cu prima reacție nucleară a lui Fermi din 1942: între k = 0,9994 și k = 1,0006 diferența e infimă, dar într-un caz reacția se stinge și în celălalt crește exponențial. Viteza cu care avansează cercetarea nu spune nimic despre cât de repede se mișcă un AI odată ce trece pragul.
Mi-a plăcut și „legea lui Moore a științei nebune”: la fiecare 18 luni, IQ-ul minim necesar ca să distrugi lumea scade cu un punct. Mai mult compute înseamnă că poți construi AI fără să-l înțelegi, dar nu te ajută cu nimic să-l faci sigur.
Și fraza pe care o citează toată lumea: AI-ul nu te urăște, nici nu te iubește, doar că ești făcut din atomi pe care îi poate folosi la altceva.
Concluzia e că pe termen lung avem două variante, ori devenim mai deștepți, ori dispărem, iar AI-ul e în același timp cel mai mare risc și ieșirea realistă. Condiția e să-l construim ca pe o știință exactă, nu ca pe alchimie.
concluzii din paperul lui Yudkowsky de la MIRI, „AI as a Positive and Negative Factor in Global Risk”. E scris prin 2006, publicat în 2008, deci cu mult înainte de ChatGPT, și e interesant cât de bine a anticipat foarte multe din lucrurile care s au întâmplat în ultimii 20 de ani.
Merită citit.
Subestimăm ce înseamnă inteligența. Ne gândim la diferența dintre un om obișnuit și Einstein, dar diferența care contează e cea dintre om și șoarece. Nu i-am bătut pe lupi cu gheare și colți, am inventat noi terenul de joc.
Faptul că un AI poate face ceva nu înseamnă că și vrea să facă. El îi zice „giant cheesecake fallacy” și merge în ambele sensuri, și pentru scenariile apocaliptice, și pentru cele utopice.
Partea cea mai bună e cu eșecurile tehnice. Armata americană a antrenat o rețea neuronală să recunoască tancuri camuflate. În teste mergea perfect, în realitate deloc, pentru că pozele cu tancuri fuseseră făcute pe vreme înnorată și cele fără tancuri pe soare. Rețeaua învățase vremea, nu tancurile. Asta e riscul real: sistemul merge impecabil cât îl testezi și o ia razna când se schimbă contextul. Cine lucrează azi cu agenți AI cunoaște senzația.
Apoi explozia de inteligență. O compară cu prima reacție nucleară a lui Fermi din 1942: între k = 0,9994 și k = 1,0006 diferența e infimă, dar într-un caz reacția se stinge și în celălalt crește exponențial. Viteza cu care avansează cercetarea nu spune nimic despre cât de repede se mișcă un AI odată ce trece pragul.
Mi-a plăcut și „legea lui Moore a științei nebune”: la fiecare 18 luni, IQ-ul minim necesar ca să distrugi lumea scade cu un punct. Mai mult compute înseamnă că poți construi AI fără să-l înțelegi, dar nu te ajută cu nimic să-l faci sigur.
Și fraza pe care o citează toată lumea: AI-ul nu te urăște, nici nu te iubește, doar că ești făcut din atomi pe care îi poate folosi la altceva.
Concluzia e că pe termen lung avem două variante, ori devenim mai deștepți, ori dispărem, iar AI-ul e în același timp cel mai mare risc și ieșirea realistă. Condiția e să-l construim ca pe o știință exactă, nu ca pe alchimie.
concluzii din paperul lui Yudkowsky de la MIRI, „AI as a Positive and Negative Factor in Global Risk”. E scris prin 2006, publicat în 2008, deci cu mult înainte de ChatGPT, și e interesant cât de bine a anticipat foarte multe din lucrurile care s au întâmplat în ultimii 20 de ani.
Merită citit.
91