Anunțul de 'Strawberry" de către OpenAI a atras atenția asupra unei limitări fundamentale a modelelor lingvistice: incapacitatea lor de a analiza literele individuale din cuvinte. Această slăbiciune dezvăluie aspecte profunde despre modul în care funcționează.

Problema numărării

Când ChatGPT este rugat să numere "r"-urile din cuvântul "strawberry", modelul greșește adesea. Această eroare nu provine dintr-o lipsă de inteligență, ci din modul în care modelele lingvistice analizează textul. Pentru a înțelege de ce, trebuie să cunoaștem conceptul de tokenizare.

Lumea văzută prin jetoane

Modelele lingvistice nu văd cuvintele ca pe niște secvențe de litere, ci ca pe niște "jetoane" - unități de sens convertite în numere. Este ca și cum ai citi o carte în care fiecare cuvânt este înlocuit de un cod numeric. Cuvântul "manuale școlare", de exemplu, este împărțit în două token-uri separate: "școală" și "cărți". Acest lucru explică de ce modelul nu reușește să numere corect "o"-ul din acest cuvânt - el nu îl vede de fapt ca pe un cuvânt.

Un exemplu lămuritor

Imaginați-vă că învățați o limbă în care cuvântul "școală" este întotdeauna reprezentat de numărul "412". Dacă cineva v-ar întreba câți "o" sunt în "412", nu am fi capabili să răspundem corect fără să fi văzut vreodată cuvântul scris în întregime. Modelele lingvistice se află într-o situație similară: ele procesează semnificațiile prin numere, fără a avea acces la compoziția literală a cuvintelor.

Provocarea cuvintelor compuse

Problema devine și mai gravă în cazul cuvintelor compuse. "Timekeeper" este fragmentat în token-uri separate, ceea ce face dificilă determinarea de către model a poziției exacte a literelor "and". Această fragmentare afectează nu numai numărarea literelor, ci și înțelegerea structurii interne a cuvântului.

Soluția la problema căpșunilor (poate)

Acest viitor model OpenAI, Strawberry, ar trebui să depășească această limitare prin introducerea unei abordări inovatoare a procesării textului. În loc să se bazeze doar pe tokenizarea tradițională, modelul ar trebui să fie capabil să analizeze cuvintele la nivel de litere individuale, permițând operațiuni de numărare și analiză mai precise.

Implicații viitoare

Importanța acestei probleme merge dincolo de simpla numărare a literelor. Această capacitate de analiză granulară ar putea îmbunătăți semnificativ înțelegerea lingvistică a modelelor AI, permițându-le să abordeze probleme care necesită o analiză detaliată a textului la nivel de caracter.

Integrarea planificată a acestei tehnologii va reprezenta un progres major în direcția modelelor lingvistice care sunt mai capabile să "raționeze" asupra detaliilor fundamentale ale limbajului, nu doar asupra modelelor statistice.

‍