Analiza critică a cazurilor reale de utilizare a LLM: între promisiune și realitate

În timp ce dezbaterea privind valoarea reală a modelelor lingvistice de mari dimensiuni (LLM) continuă, este esențială examinarea critică a cazurilor reale de utilizare implementate de întreprinderi. Această analiză își propune să examineze aplicațiile concrete ale LLM în diferite sectoare, evaluând în mod critic valoarea reală, limitele și potențialul acestora.

‍

Comerțul electronic și comerțul cu amănuntul: optimizare direcționată sau suprainginerie?

În sectorul comerțului cu amănuntul și al comerțului electronic, LLM-urile sunt utilizate pentru o varietate de sarcini:

• Asistenți interni și îmbunătățirea fluxului de lucru: Instacart a dezvoltat un asistent AI numit Ava pentru a sprijini echipele în scrierea, revizuirea și depanarea codului, pentru a îmbunătăți comunicarea și pentru a crea instrumente interne. Deși promițători, ne întrebăm dacă acești asistenți oferă o valoare substanțial mai mare decât instrumentele de colaborare mai tradiționale și mai puțin complexe.
• Moderarea conținutului și securitatea: Whatnot utilizează LLM pentru a îmbunătăți moderarea conținutului multimodal, protecția împotriva fraudei și detectarea neregulilor în oferte. Zillow utilizează LLM pentru a identifica conținutul discriminatoriu din anunțurile imobiliare. Aceste cazuri reprezintă aplicații specifice în care LLM poate oferi o valoare reală, dar necesită sisteme de verificare precise pentru a evita falsurile pozitive și negative.
• Extragerea și clasificarea informațiilor: OLX a creat Prosus AI Assistant pentru a identifica rolurile posturilor în anunțuri, în timp ce Walmart a dezvoltat un sistem pentru a extrage atributele produselor din PDF-uri. Aceste cazuri demonstrează utilitatea LLM-urilor în automatizarea sarcinilor repetitive care, altfel, ar necesita o muncă manuală semnificativă.
• Generarea de conținut creativ: StitchFix combină textul generat algoritmic cu supravegherea umană pentru a simplifica crearea titlurilor publicitare și a descrierilor de produse. Instacart generează imagini ale produselor alimentare. Aceste aplicații ridică întrebări cu privire la originalitatea conținutului generat și la omogenizarea potențială a limbajului publicitar.
• Îmbunătățirea căutării: Leboncoin, Mercado Libre și Faire utilizează LLM pentru a îmbunătăți relevanța căutării, în timp ce Amazon utilizează LLM pentru a înțelege relațiile de bun simț și a oferi recomandări de produse mai relevante. Aceste cazuri reprezintă un domeniu în care valoarea adăugată a LLM este potențial semnificativă, dar complexitatea de calcul și costurile energetice asociate pot să nu justifice îmbunătățirea incrementală față de algoritmii de căutare existenți.

Fintech și sectorul bancar: navigarea între valoare și riscurile de reglementare

‍

În sectorul financiar, LLM este aplicat cu prudență, având în vedere natura sensibilă a datelor și cerințele stricte de reglementare:

• Clasificarea și etichetarea datelor: Grab utilizează LLM pentru guvernanța datelor, clasificarea entităților, identificarea informațiilor sensibile și atribuirea etichetelor corespunzătoare. Acest caz de utilizare este deosebit de interesant deoarece abordează o provocare critică pentru instituțiile financiare, dar necesită mecanisme stricte de control pentru a evita erorile de clasificare.
• Generarea de rapoarte privind criminalitatea financiară: SumUp generează narațiuni structurate pentru rapoartele privind frauda financiară și spălarea banilor. Această aplicație, deși promite reducerea volumului de muncă manuală, ridică semne de întrebare cu privire la capacitatea LLM-urilor de a trata în mod corespunzător subiecte sensibile din punct de vedere juridic fără supraveghere umană.
• Suport pentru interogări financiare: Digits sugerează interogări legate de tranzacții bancare. Acest caz de utilizare arată cum LLM-urile pot asista profesioniștii fără a-i înlocui, o abordare potențial mai durabilă decât automatizarea completă.

Tehnologie: Automatizare și servicii

‍

În sectorul tehnologic, LLM-urile sunt utilizate pe scară largă pentru a îmbunătăți fluxurile de lucru interne și experiența utilizatorilor:

• Gestionarea incidentelor și securitatea: Conform security.googleblog.com, Google utilizează LLM pentru a furniza rezumate ale incidentelor de securitate și confidențialitate pentru diverși destinatari, inclusiv directori, manageri și echipe de parteneri. Această abordare economisește timp pentru manageri și îmbunătățește calitatea rezumatelor incidentelor. Microsoft utilizează LLM pentru a diagnostica incidentele de producție, în timp ce Meta a dezvoltat un sistem de analiză a cauzelor profunde asistat de IA. Incident.io generează rezumate ale incidentelor software. Aceste cazuri demonstrează valoarea LLM-urilor în accelerarea proceselor critice, dar ridică semne de întrebare cu privire la fiabilitatea lor în situații cu miză mare.
• Asistență pentru programare: GitHub Copilot oferă sugestii de cod și completări automate, în timp ce Replit a dezvoltat LLM pentru repararea codului. NVIDIA utilizează LLM pentru a detecta vulnerabilitățile software. Aceste instrumente cresc productivitatea dezvoltatorilor, dar ar putea, de asemenea, să propage modele de cod ineficiente sau nesigure dacă sunt utilizate necritic.
• Interogări de date și căutare internă: Honeycomb ajută utilizatorii să scrie interogări pe date, Pinterest transformă interogările utilizatorilor în interogări SQL. Aceste cazuri arată modul în care LLM-urile pot democratiza accesul la date, dar ar putea conduce, de asemenea, la interpretări eronate sau ineficiență fără o înțelegere aprofundată a structurilor de date subiacente.
• Clasificarea și gestionarea cererilor de asistență: GoDaddy clasifică cererile de asistență pentru a îmbunătăți experiența clienților. Dropbox rezumă și răspunde la întrebările privind fișierele. Aceste cazuri arată potențialul LLM de îmbunătățire a serviciilor pentru clienți, dar ridică semne de întrebare cu privire la calitatea și acuratețea răspunsurilor generate.

Livrări și mobilitate: eficiență operațională și personalizare

‍

În sectorul livrărilor și al mobilității, LLM-urile sunt utilizate pentru a îmbunătăți eficiența operațională și experiența utilizatorilor:

• Testare și asistență tehnică: Uber utilizează LLM pentru a testa aplicațiile mobile cu DragonCrawl și a creat Genie, un copilot AI pentru a răspunde la întrebările de asistență. Aceste instrumente pot reduce semnificativ timpul petrecut pentru testare și asistență, dar este posibil să nu surprindă problemele complexe sau cazurile limită, așa cum ar face-o un tester uman.
• Extragerea și compararea informațiilor despre produse: DoorDash extrage detaliile produselor din datele SKU, iar Delivery Hero compară inventarul său cu produsele concurenților. Aceste cazuri arată modul în care LLM-urile pot automatiza procese complexe de comparare a datelor, dar ar putea introduce prejudecăți sau interpretări eronate fără controale adecvate.
• Căutare conversațională și relevanță: Picnic îmbunătățește relevanța căutării pentru listele de produse, în timp ce Swiggy a implementat căutarea neuronală pentru a ajuta utilizatorii să descopere alimente și produse alimentare într-un mod conversațional. Aceste cazuri ilustrează modul în care LLM-urile pot face interfețele de căutare mai intuitive, dar ar putea crea, de asemenea, "bule de filtrare" care limitează descoperirea de noi produse.
• Automatizarea asistenței: DoorDash a construit un chatbot de asistență bazat pe LLM care extrage informații din baza de cunoștințe pentru a genera răspunsuri care rezolvă rapid problemele. Această abordare poate îmbunătăți timpii de răspuns, dar necesită garduri de protecție solide pentru gestionarea situațiilor complexe sau încărcate emoțional.

Social, media și B2C: conținut și interacțiuni personalizate

‍

În social media și în serviciile B2C, LLM sunt utilizate pentru a crea conținut personalizat și pentru a îmbunătăți interacțiunile:

• Analiza și moderarea conținutului: Yelp și-a actualizat sistemul de moderare a conținutului cu LLM pentru a detecta amenințările, hărțuirea, obscenitatea, atacurile personale sau discursul instigator la ură. LinkedIn analizează diverse conținuturi de pe platformă pentru a extrage informații despre competențe. Aceste cazuri arată potențialul LLM de îmbunătățire a calității conținutului, dar suscită îngrijorări cu privire la cenzură și la potențiala restricționare a libertății de exprimare.
• Generarea de conținut educațional și marketing: Duolingo utilizează LLM pentru a ajuta designerii să genereze exerciții relevante, în timp ce Nextdoor utilizează LLM pentru a crea obiecte de e-mail atractive. Aceste aplicații pot crește eficiența, dar pot duce și la standardizarea excesivă a conținutului.
• Traducere și comunicare multilingvă: Roblox exploatează un model multilingv personalizat pentru a permite utilizatorilor să comunice fără probleme folosind propria lor limbă. Această aplicație arată potențialul LLM în depășirea barierelor lingvistice, dar poate introduce nuanțe culturale în traduceri.
• Interacțiunea cu conținutul media: Vimeo permite utilizatorilor să converseze cu videoclipuri prin intermediul unui sistem de întrebări și răspunsuri bazat pe RAG, care poate rezuma conținutul video, face legătura cu momentele-cheie și sugerează întrebări suplimentare. Această aplicație arată cum LLM poate transforma modul în care interacționăm cu conținutul multimedia, dar ridică întrebări cu privire la fidelitatea interpretărilor generate.

Evaluare critică: Valoarea reală vs. Urmarea tendinței

După cum subliniază Chitra Sundaram, director al practicii de gestionare a datelor la Cleartelligence, Inc., "LLM sunt devoratoare de resurse. Formarea și rularea acestor modele necesită o putere de calcul enormă, ceea ce conduce la o amprentă de carbon semnificativă. Tehnologia informatică durabilă presupune optimizarea utilizării resurselor, reducerea la minimum a risipei și alegerea unei soluții de dimensiunea potrivită". Această observație este deosebit de relevantă atunci când se analizează cazurile de utilizare prezentate.

‍

Analizând aceste cazuri de utilizare, apar câteva considerații esențiale:

1. Valoarea incrementală vs. complexitatea

‍

Multe aplicații ale LLM oferă îmbunătățiri incrementale față de soluțiile existente, dar cu costuri semnificativ mai mari de calcul, energie și implementare. După cum afirmă Chitra Sundaram, "utilizarea unui LLM pentru a calcula o medie simplă este ca și cum ai folosi o bazooka pentru a lovi o muscă" (paste-2.txt). Este esențial să se evalueze dacă valoarea adăugată justifică această complexitate, având în vedere în special:

• Necesitatea unor sisteme de monitorizare solide
• Costurile energiei și impactul asupra mediului
• Complexitatea întreținerii și actualizării
• Cerințe privind competențele specializate

2. Dependența de supravegherea umană

‍

Cele mai reușite cazuri de utilizare mențin o abordare de tip "human-in-the-loop", în care LLM asistă mai degrabă decât să înlocuiască complet intervenția umană. Acest lucru sugerează că:

• Automatizarea completă prin LLM rămâne problematică
• Principala valoare constă în sporirea capacităților umane, nu în înlocuirea lor
• Eficacitatea depinde de calitatea interacțiunii om-mașină

3. Specificitatea domeniului vs. aplicații generice

‍

Cele mai convingătoare cazuri de utilizare sunt cele în care LLM-urile au fost adaptate și optimizate pentru domenii specifice, cu cunoștințe de domeniu încorporate:

• Reglarea fină a datelor specifice industriei
• Integrarea cu sistemele și sursele de cunoștințe existente
• Guardrails și constrângeri specifice contextului

4. Integrarea cu tehnologiile existente

Cele mai eficiente cazuri nu utilizează LLM în mod izolat, ci îl completează cu:

• Sisteme de recuperare și arhivare a datelor (RAG)
• Algoritmi specializați și fluxuri de lucru existente
• Mecanisme de verificare și control

După cum evidențiază cazul de utilizare al Google, integrarea LLM în fluxurile de lucru privind incidentele de securitate și confidențialitate permite "accelerarea răspunsului la incidente utilizând AI generativ", rezumatele generate fiind adaptate diferitelor audiențe, asigurându-se că informațiile relevante ajung la persoanele potrivite în cel mai util format.

‍

Concluzie: O abordare pragmatică a LLM-urilor

Chitra Sundaram oferă o perspectivă lămuritoare atunci când afirmă: "Calea către o analiză sustenabilă constă în alegerea instrumentului potrivit pentru această sarcină, nu doar în urmărirea ultimei tendințe. Este vorba despre investiții în analiști calificați și o bună guvernanță a datelor. Este vorba de a face din durabilitate o prioritate-cheie".

‍

Analiza acestor cazuri reale de utilizare confirmă faptul că LLM-urile nu sunt o soluție miraculoasă, ci instrumente puternice care, atunci când sunt aplicate strategic la probleme specifice, pot oferi o valoare semnificativă. Organizațiile ar trebui:

1. Identificarea problemelor specifice în care prelucrarea limbajului natural oferă un avantaj substanțial față de abordările tradiționale
2. Începeți cu proiecte pilot care pot demonstra valoarea rapid și măsurabil
3. Integrarea LLM cu sistemele existente mai degrabă decât înlocuirea completă a fluxurilor de lucru
4. Menținerea mecanismelor de supraveghere umană, în special pentru aplicațiile critice
5. Evaluarea sistematică a raportului cost-beneficiu, luând în considerare nu numai îmbunătățirea performanței, ci și costurile energetice, de întreținere și de modernizare

Companiile care prosperă în era LLM nu sunt neapărat cele care le adoptă pe scară mai largă, ci cele care le aplică mai strategic, echilibrând inovarea și pragmatismul și păstrând un ochi critic asupra valorii reale generate dincolo de hype.

‍