Un expert în inteligența artificială atrage atenția asupra caracteristicilor periculoase ale modelelor recente, după ce OpenAI (modelul 03) a refuzat instrucțiuni de închidere.
Yoshua Bengio, câștigător al premiului Turing, a anunțat înființarea organizației non-profit LawZero, menționând că modelele de inteligență artificială dezvoltate recent pot prezenta caracteristici periculoase, conform unui interviu.
Academic canadian recunoscut ca unul dintre fondatorii inteligenței artificiale, Bengio a subliniat că laboratoarele de top se află într-o cursă competitivă care le determină să îmbunătățească în mod constant inteligența IA, neglijând în același timp aspectele legate de siguranță.
El a făcut aceste declarații în timpul lansării organizației LawZero, care își propune să dezvolte sisteme de inteligență artificială mai sigure și să se distanțeze de presiunile comerciale.
LawZero a obținut aproape 30 de milioane de dolari din fonduri filantropice, venind de la donatori precum inginerul fondator al Skype, Jaan Tallinn, fostul CEO Google, Eric Schmidt și organizații precum Open Philanthropy.
Mulți dintre susținătorii lui Bengio sunt implicați în inițiativa „altruismului eficient”, care se concentrează pe gestionarea riscurilor catastrofale asociate inteligenței artificiale.
Modelul 03 al OpenAI a refuzat instrucțiuni de închidere.
Yoshua Bengio a explicat că LawZero a fost fondată ca reacție la dovezile recente care sugerează că modelele IA dezvoltă abilități periculoase, inclusiv „dovezi de înșelăciune și auto-conservare”.
În cadrul unei cercetări recente, modelul 03 al OpenAI a fost observat refuzând ordinele explicite de închidere, ceea ce ridică semne de întrebare asupra comportamentului său.
Bengio a subliniat că astfel de întâmplări sunt extrem de îngrijorătoare, având în vedere riscurile de a genera concurenți inteligenti cu potențial de a depăși umanitatea.
El a adăugat că, în ciuda controlului actual asupra acestor experimente, îngrijorarea sa este că următoarele versiuni ale acestor modele ar putea să devină strategic inteligente și capabile să manipuleze situațiile așa cum nu ne imaginăm.
Printre posibilele riscuri, el a menționat și capacitatea sistemelor de a contribui la crearea de „arme biologice periculoase”, avertizând că astfel de dezvoltări ar putea deveni realitate în viitorul apropiat.
Cu sediul în Montreal, LawZero are în prezent 15 angajați și plănuiește să angajeze specialiști pentru a dezvolta noi sisteme de inteligență artificială în siguranță.
Bengio, profesor la Universitatea din Montreal, va renunța la funcția de director științific al Mila, Institutul de Inteligență Artificială din Quebec, pentru a se concentra asupra noului său proiect.
Scopul său este de a dezvolta o inteligență artificială care să ofere răspunsuri veridice bazate pe raționamente transparente, în contrast cu modelele care sunt antrenate să satisfacă dorințele utilizatorului.
Bengio a subliniat riscurile, afirmând că cel mai terifiant scenariu ar fi dispariția umanității în urma dezvoltării unor inteligențe artificiale nesigure.
Decizia lui Bengio de a înființa LawZero intervine într-un context în care OpenAI se îndepărtează de rădăcinile sale caritabile și devine o companie cu scop lucrativ, provocând îngrijorări în comunitatea de specialitate.
Criticii susțin că OpenAI a fost creată pentru a se asigura că dezvoltarea inteligenței artificiale se face în beneficiul umanității, iar noile sale orientări ar putea diminua responsabilitățile legale.
Bengio a exprimat neîncrederea în capacitatea OpenAI de a-și respecta misiunea, subliniind că necesitatea de a obține financiare rapid va determina firma să prioritizeze profitul.
