Unatoč fascinantnim sposobnostima naprednih sustava poput OpenAI-jeva GPT-4o, Anthropicova Claudea ili Googleova Geminija, njihova osnovna tehnička arhitektura ostaje iznimno jednostavna — u svojoj su biti to statistički strojevi trenirani za zadatak predviđanja sljedećeg tokena (Next-Token Prediction). Međutim, kako je razmjer parametara narastao s nekoliko milijardi na stotine milijardi, proces običnog predviđanja riječi počeo je izvoditi operacije poput pisanja složenih algoritama i rješavanja zadataka s Međunarodne matematičke olimpijade. Fenomen koji je u znanstvenoj zajednici godinama nazivan „emergencijom” (iznenadnim izranjanjem sposobnosti) nedavno je dobio jasno inženjersko objašnjenje zahvaljujući istraživačkom radu sa Sveučilišta Stanford, nagrađenom na prestižnoj konferenciji NeurIPS.

Iluzija iznenadnog prosvjetljenja: Problem mjerila i testiranja


Dugi niz godina u industriji umjetne inteligencije dominirala je hipoteza da veliki jezični modeli, nakon prelaska određene kritične točke u veličini i računalnoj snazi, doživljavaju skokoviti porast logičkih i matematičkih sposobnosti. Taj je mit potaknuo masovna ulaganja u jednostavno povećanje hardverskih resursa i broja parametara. Istraživanje sa Stanforda pokazalo je da je takozvano „iznenadno prosvjetljenje” primarno posljedica metodologije bodovanja pri testiranju modela.

Pri evaluaciji složenih zadataka (poput množenja višeznamenkastih brojeva) tradicionalni metrički sustavi primjenjuju binarno bodovanje — točan rezultat nosi 100 %, dok bilo kakva pogreška nosi 0 %. Manji model koji ispravno provede 90 % postupka izračuna i pogriješi u samo jednoj znamenki dobiva ocenu nula. Kada nešto veći model u potpunosti pogodi rezultat, dolazi do prividno vertikalnog skoka u uspješnosti. Primjenom kontinuiranih metrika, koje procjenjuju točnost svakog pojedinačnog koraka u dedukciji, istraživači su utvrdili da se sposobnosti modela zapravo razvijaju linearno i stabilno.

Kompresija podataka kao pokretač logičkih struktura


Ako iznenadna emergencija ne postoji, kako model predviđanja riječi razvija rigoroznu dedukciju? Odgovor leži u principu kompresije podataka unutar teorije informacija. Kada se skup za obuku proširi na milijarde web stranica, pravnih dokumenata, programskog koda i znanstvenih radova, neuronska mreža nema dovoljan kapacitet za pamćenje svih mogućih permutacija rečenica. Pod pritiskom algoritma povratne propagacije (backpropagation), model je prisiljen razviti interni mehanizam optimalne kompresije.

Foto: wallpapercave.com

Da bi s najvećom statističkom točnošću predvidio sljedeći token u tako opsežnom skupu podataka, model u svojoj unutarnjoj strukturi formira apstraktne prikaze gramatičkih pravila, uzročno-posljedičnih veza i matematičkih operacija. Logičko zaključivanje stoga nije eksplicitno programirano; ono nastaje kao najučinkovitiji kompresijski algoritam za reprezentaciju strukture ljudskog znanja. Formirani računski moduli unutar mreže omogućuju modelu da pri susretu s novim problemom dinamički spaja logičke korake u ispravan izračun.

Evolucija u lance misli i autonomnu korekciju


Nove generacije naprednih modela za zaključivanje, poput sustava DeepSeek-R1 i serije OpenAI o, dodatno proširuju ovaj princip integracijom učenja s potkrepljenjem (reinforcement learning). Za razliku od ranijih pristupa koji su odmah generirali konačne odgovore, ovi sustavi unutar same mreže oblikuju opsežne lance misli (Chain of Thought).

Foto: wallpapercave.com

Tijekom obrade problema model sprovodi međukorake, analizira vlastiti tijek dedukcije te pri detekciji proturječja provodi korekciju vlastitih pretpostavki prije konačnog izvođenja zaključaka. Evolucija velikih jezičnih modela potvrđuje da ekstremna razina statističkog predviđanja prirodno vodi do stvaranja stabilnih logičkih struktura, čime se kompresija tekstualnih podataka transformira u funkcionalan alat za rješavanje složenih problema.