Riscurile solicitării de răspunsuri scurte în interacțiunile cu chatboții
Un studiu realizat de un startup francez asupra unor chatboți populari a relevat că solicitarea de răspunsuri concise în discuțiile cu aceștia poate crește semnificativ riscul ca agenții AI să ofere informații eronate sau fabricate. De ce concizia afectează acuratețea?
Giskard, o companie specializată în testarea inteligenței artificiale din Franța, lucrează la un sistem de evaluare detaliat pentru modelele AI și a elaborat un studiu comparativ între diverse modele de limbaj, inclusiv ChatGPT, Gemini, Llama, DeepSeek, Grok, Claude și Mistral.
O concluzie cheie a cercetării Giskard este că cele mai utilizate modele de inteligență artificială nu sunt întotdeauna și cele mai fiabile. Unele dintre acestea manifestă un nivel ridicat de "halucinație", termen folosit pentru a descrie răspunsurile false, incorecte sau înșelătoare produse de aceste modele de limbaj.
Problema este că aceste informații false sunt integrate între cele corecte, conferindu-le o aparentă credibilitate, deși nu se bazează pe date concrete sau surse de încredere.
Cercetătorii de la Giskard subliniază că cererea de răspunsuri scurte, în special pentru întrebări vagi, poate afecta negativ precizia informației oferite de un model AI.
„Informațiile noastre sugerează că modificările simple ale instrucțiunilor pot influența semnificativ tendința unui model de a genera răspunsuri false”, au afirmat cercetătorii. „Această observație are repercusiuni importante pentru implementarea tehnologiilor AI, având în vedere că multe aplicații se concentrează pe furnizarea de răspunsuri concise pentru a reduce utilizarea datelor, a crește rapiditatea și a diminua costurile”, au adăugat reprezentanții Giskard, citati de TechCrunch.
Un motiv pentru care răspunsurile extinse sunt preferabile este că ele permit o explorare detaliată a întrebărilor complexe. Atunci când un utilizator cere un răspuns scurt, chatbot-ul nu reușește să abordeze toate aspectele relevante, crescând astfel șansele de erori.
Problema "halucinației" în AI rămâne una semnificativă, chiar și în cazul celor mai avansate modele care pot genera informații inexacte din cauza naturei lor probabilistice. În plus, noile modele au tendința de a omite faptele mai frecvent decât cele anterioare, dificultățile în verificarea acurateței răspunsurilor lor crescând.
Imagine: Dreamstime.com
