Ekspresan napredak tehnologije umjetne inteligencije i njezine sve šire primjene u svakodnevnom životu duboko je utjecao na način na koji radimo i živimo. Međutim, istovremeno je doveo do naglog i nepredviđenog rasta cijena memorije, čime je prekinut dugogodišnji tržišni obrazac prekomjernog kapaciteta, redovitog snižavanja cijena i visoke pristupačnosti. Posljedice toga vidljive su svuda: pametni telefoni i prijenosna računala dolaze sa smanjenim specifikacijama ili višim cijenama, dok je slaganje stolnih računala odjednom postalo znatno skuplji pothvat. Glavni uzrok ove transformacije jest nagla potražnja za takozvanom HBM memorijom.

Foto: Rambus
Oznaka HBM kratica je za High Bandwidth Memory (memoriju velike propusnosti), posebnu vrstu vrhunskih memorijskih čipova primarno dizajniranih za treniranje modela umjetne inteligencije i napredno računalstvo visokih performansi. Prema svojim temeljnim arhitektonskim principima i scenarijima primjene, HBM i dalje spada u kategoriju dinamičke memorije s nasumičnim pristupom (DRAM), što znači da dijeli isto podrijetlo kao i klasična DDR4 ili DDR5 memorija koja se koristi u osobnim računalima i pametnim telefonima, ali se od njih drastično razlikuje po obliku i načinu povezivanja. Primjera radi, vrhunski grafički procesori poput modela NVIDIA H200 koriste module HBM3e memorije koji se sastoje od više kvadratnih čipova postavljenih izravno uz jezgru procesora na istoj sklopovskoj podlozi.
Za razliku od HBM-a, tradicionalna DDR memorija oslanja se na ravni, dvodimenzionalni raspored pakiranja čipova. Broj fizičkih kontakata (pinova) u takvom je dizajnu ograničen, pa su širina kanala za prijenos podataka i sama brzina spriječeni fizičkom strukturom. Zbog toga je teže postići veći kapacitet i ekstreman skok u performansama, što je sasvim dovoljno za obično računalstvo, ali nedovoljno za potrebe naprednih AI modela.
HBM je unio pravu revoluciju u arhitekturu pakiranja primjenom trodimenzionalnog vertikalnog slaganja čipova u kombinaciji s tehnologijom prolaznih silicijskih kontakata (TSV, Through-Silicon Via). Ova metoda omogućuje slaganje više slojeva DRAM čipova jedan na drugi. Pomoću mikro-kontakata iznimne preciznosti ostvaruje se izravna i izuzetno brza veza između svih slojeva, čime se skraćuje putovanje signala i drastično smanjuju gubici. Rezultat je ogroman skok u propusnosti podataka, što sprječava zastoje u radu grafičkih procesora koji više ne moraju čekati na dostavu podataka iz memorije.

Foto: Micron
Što se tiče samih performansi, pojedinačni sklop HBM memorije može ostvariti širinu sabirnice od 1024 ili čak 2048 bita, dok standardna DDR5 memorija nudi svega 64 bita po kanalu. To je usporedivo s prelaskom sa seoske ceste na višetračnu autocestu, jer se količina prenesenih podataka u jedinici vremena povećava za cijeli red veličine. Dok klasična GDDR6 memorija na grafičkim karticama postiže propusnost od oko 0,064 terabajta po sekundi (TB/s), propusnost jednog HBM3e sklopa doseže impresivnih 1,2 TB/s, dok noviji HBM4 standard prelazi i 3,3 TB/s, pružajući višestruko veću brzinu prijenosa od standardnih rješenja. Uz sve to, slaganje čipova omogućuje i drastično veće kapacitete u znatno manjem fizičkom obliku.
Dominacija HBM-a na tržištu pohrane podataka proizašla je iz izražene neravnoteže ponude i potražnje te naknadnog preusmjeravanja proizvodnih kapaciteta. Od masovne ekspanzije industrije umjetne inteligencije, potražnja za HBM memorijom skočila je do neviđenih razina zbog masovne izgradnje podatkovnih centara i računala velikih performansi. Istovremeno, proizvodnja HBM memorije zahtijeva iznimno kompleksnu i skupu tehnologiju, zbog čega tržišnu ponudu u potpunosti drži nekolicina divova kao što su SK Hynix, Samsung i Micron. Budući da su njihovi proizvodni kapaciteti unaprijed rasprodani godinama unaprijed, cijene HBM memorije nastavile su rasti, a profitne marže po jedinici postale su višestruko veće u usporedbi s običnom DDR memorijom.
Kako bi iskoristili ovaj val visoke profitabilnosti, vodeći proizvođači preusmjerili su ključne proizvodne linije, opremu i inženjerske timove s tradicionalnih DDR čipova na razvoj i proizvodnju HBM-a. To je izravno smanjilo ponudu standardne DDR4 i DDR5 memorije na tržištu, uzrokujući lančani rast cijena i u segmentu široke potrošnje. Korisnicima i entuzijastima stoga preostaje tek prilagoditi se novim tržišnim okolnostima dok se ponuda i potražnja na globalnoj razini ponovno ne stabiliziraju.
