NVIDIA Groq 3: SRAM, dezagregasiýa, determinizm

NVIDIA kompaniýasynyň taryhyndaky iň iri söwda — Groq-y 20 milliard dollara satyn almagy — özüniň ilkinji miwelerini berip başlady. Kompaniýa, inferensi (netije çykarmagy) düýpgöter çaltlandyrmak, ony deagregasiýa bolan ýagdaýa getirmek we platformany geterogenleşdirmek üçin binýatlaýyn taýdan nätanyş bolan LPU emeli aň tizlendirijilerini özüniň Vera Rubin platformasyna birleşdirdi. Hut LPU emeli aň bilen interaktiw işleşilende gijikmeleri azaltmaga we agent ulgamlarynda uly kontekstleri çalt işläp taýýarlamaga bolan talaplary kanagatlandyrmaga kömek eder. Şol bir wagtyň özünde, kompaniýa ozal yglan edilen Rubin CPX goşmaça tizlendirijileri barada indi ýatlamazlygy makul bilýär.

NVIDIA Groq LPX tegelekli (rack) tizlendirijisi

LPX ulgamy emeli aň fabrikasyny tokenleriň çalt we öňünden kesgitlenen (prognoz edilýän) generatsiýasy üçin optimallaşdyrylan hereketlendiriji bilen üpjün edýär. Şol bir wagtyň özünde, Vera Rubin NVL72 tälim bermek we inferens üçin çeýe, uniwersal gural hökmünde çykyş edip, deslapky dolduryş (prefill) we dekodirleme tapgyrlarynda ýokary geçirijilik ukybyny üpjün edýär; muňa uzyn kontekstleri işlemek, üns mehanizmi (attention mechanism) we giň gerimli ýokary derejeli parallel ulgamlara hyzmat etmek degişlidir.

Şeýle utgaşma zerurdyr, sebäbi agentleriň geljegi inferensiň (netije çykarmagyň) täze kategoriýasyny talap edýär. NVIDIA-nyň bellemegine görä, generatsiýanyň tizligi her ulanyjy üçin sekuntda 1000 tokene (TPS) golaýlaşdygyça, modeller adaty ynsan gürrüňiniň tizliginden has ýokary derejä çykýar. Şeýle tizliklerde emeli aň ulgamlary yzygiderli pikirlenip, modelleşdirip we reaksiýa berip bilýärler; bu bolsa olara adaty “ädimme-ädim” çatyň çäginden çykyp, hakyky wagt düzüminde (real-time) bilelikde işleşmek mümkinçiligini berýär. Bu öwrülişik, şol bir wagtyň özünde, köp agentli (multi-agent) ulgamlar üçin bildirilýän talaplary hem has ýokary göterýär.

• Matrisa moduly (MXM): Öňünden aýdyp boljak (predikatiw) geçirijilik ukyby bilen bellenen maglumat görnüşlerinde işleýän tenzer operasiýalary üçin dykyz köpeltmek we toplamak mümkinçiligini üpjün edýär. 8 sany Groq 3 LP30 çipiniň hersi 1,2 Pflops (FP8) çenli öndürijilik berýär, bu bolsa jemi bir LPX düwni üçin 9,6 Pflops (FP8) ýa-da (NVIDIA-nyň spesifikasiýalaryna görä) bir tekje üçin 315 Pflops-a çenli kuwwat diýmekdir.

• Wektor moduly (VXM): Nokatlaýyn arifmetika, görnüşleri öwürmek we işjeňleşdirme funksiýalary üçin jogapkärdir. VXM-de ALU (arifmetiki-logiki gurluş) toplumy bolup, kompilýator olary bir geçişde çylşyrymly operasiýalary (meselem, reduksiýa, soňra işjeňleşdirme, soňra görnüşi üýtgetmek) ýerine ýetirmek üçin awtomatiki usulda zynjyrlara birleşdirýär.

• Kommutasiýa moduly (SXM): Wektorlaryň ornuny çalyşmak, aýlamak we transponirlemek ýaly maglumatlaryň gurluşly süýşürilmegini we öwrülmegini ýerine ýetirýär.

LPU-nyň merkezi elementi — keşsiz, iýerarhiýasyz we “keş-mis” (tapylmadyk maglumat) düşünjesi bolmaly, SRAM-a esaslanýan tekiz ýat arhitekturaly MEM blogudyr. Onda 500 Mbaýt SRAM esasy işçi ammar hökmünde hyzmat edýär we 150 Tbaýt/s geçirijilik ukybyna eýedir. Apparat tarapyndan dolandyrylýan keşlere bil baglamagyň deregine, kompilýator we ýerine ýetiriş gurşawy agramlary (weights), işjeňleşdirmeleri we KV-ýagdaýyny öz içine alýan işjeň toplumy gönüden-göni içerki ýada ýerleşdirýär we maglumatlary anyk (ýawnym) görnüşde süýşürýär. Bu bolsa öňünden aýdyp bolmajak gijikdirmeleri azaldýar we has duýgur maglumatlary hasaplamalar üçin elýeterli saklap, pes we durnukly gijikdirmani üpjün etmäge kömek edýär. Kompilýator, hasaplamalaryň dowamynda ähli maglumatlaryň takyk ýerini bilip, ýat banklarynyň fiziki adreslerine göni ýüzlenýär.

LPU-lary masştablandyrmak (giňeltmek) üçin maglumatlaryň determinirlenen çalşygy üçin niýetlenen ýokary tizlikli C2C-kanallary ulanylýar. Her bir LPU-da hersi 112 Gbit/s tizlikde işleýän 96 sany RealScale C2C kanaly bar. Bu bolsa jemi 2,5 Tbaýt/s ikitaraplaýyn geçirijilik ukyby we maglumatlaryň geçiriliş wagtynyň anyk öňünden aýdylyp bilinişi (predictable) bilen LPX-iň optimallaşdyrylan masştablandyrma topologiýasyny üpjün edýär. Bu aýratyn hem paýlanan inferens konweýerleri üçin möhümdir, sebäbi beýle bolmasa, geçirijilik ukybynyň ýitgileri gijikdirmaniň esasy çeşmesine öwrülip biler. Her bir LPU-nyň şu 96 kanalynyň 4-üsi tekjeara özara gatnaşyklar üçin bölünip berlendir (her düwün üçin 32 baglanyşyk, her tekje üçin 14 Tbaýt/s). Galan baglanyşyklar düwnüň içindäki (Dragonfly) we düwünleriň arasyndaky “hemmesi-hemmesine” (All-to-All) birikmelere sarp edilýär — bu bolsa her düwün üçin 20 Tbaýt/s-den köp we her tekje üçin 640 Tbaýt/s diýmekdir.

Şol bir wagtda, “Groq RealScale”-iň “NVLink” interkonnektinden düýp göter tapawutlanýandygyny bellemek möhümdir. NVLink keş-kogerentli (cache-coherent) bolup, CPU we GPU-ny birleşdirýär, RealScale bolsa programma tarapyndan meýilleşdirilýän, determinirlenen we nokatlaýyn birikmäni üpjün edýär. Tor kanallary kompilýator tarapyndan göni (anyk) dolandyrylýar, ýagny hiç hili adaptiw marşrutizasiýa ýokdur, paketlerde bolsa çeşme/barmaly ýer (source/destination) sözbaşylary ýokdur. Kanallar faza boýunça sinhronlaşdyrylandyr we hemişelik (fiksirlenen) gijikdirme bilen işleýär. Beýleki komponentler bilen aragatnaşyk saklamak üçin has adaty bolan 400GbE birikmesi, şeýle hem bir sany “ConnectX-9 SuperNIC” ýa-da “DPU BlueField-4” hödürlenýär.

Deslapky dolduryş (prefill) tapgyrynda esasy üns uly giriş maglumatlaryny işlemäge we dykyz parallel hasaplamalardan hem-de ýadyň uly göwrüminden peýdalanýan iş ýüküniň KV-keşini döretmäge gönükdirilýär. Vera Rubin NVL72 bu tapgyry, aýratyn hem kontekstiň uly bolup we güýçli üýtgäp bilýän uzyn kontekstli iş ýükleri we MoE-modelleri (Mixture of Experts) üçin netijeli ýerine ýetirýär. Öz gezeginde, dekodirleme — her bir token üçin gaýtalanýan sikldir we bu sikliň dürli fazalarynda dürli bökdençlikler ýüze çykyp biler.

GPU-lar dekodirlemäniň ýadyň geçirijilik ukybyndan we uly göwrüminden has köp peýdalanýan böleklerini ýerine ýetirýärler, meselem, toplanylan KV-keşe doly tekstli elýeterliligi üpjün edýärler. Öz gezeginde, LPX dekodirlemäniň gijikdirmelere duýgur bolan FFN/MoE we beýleki nokatlaýyn operasiýalaryny çaltlandyrýar. Köplenç dekodirlemäniň fazalaýyn dezagregasiýasy ýa-da üns mehanizminiň we FFN-iň dezagregasiýasy (AFD) diýlip atlandyrylýan bu bölünişik, dekodirleme çäginde üns mehanizmini FFN-den (feed-forward networks) aýyrýar we her bir token üçin aralyk işjeňleşdirmeleri (intermediate activations) alyşýar. Şeýlelikde, her bir “hereketlendiriji” sikliň özüne iň amatly bolan bölegini ýerine ýetirýär.

Iş ýüzünde bu, kontekst penjiresiniň ölçegi ulaldygyça, GPU-laryň barha artýan toplanylan maglumatlary we olaryň üstündäki barha çylşyrymlaşýan hasaplamalary özüne “siňdirýändigini” (absorbirleýändigini), LPU-lara düşýän ýüküň bolsa üýtgemezden galýandygyny aňladýar. Bu bolsa SRAM-a esaslanýan — ýagny bellenen we örän kiçi ýat göwrümli — ähli emeli aň tizlendirijileriniň iň esasy problemasyny çözmäge mümkinçilik berýär. FFN-operasiýalaryny işlemek üçin zerur bolan LPU-laryň sany indi kontekstiň uzynlygyna däl-de, diňe modeliň arhitekturasyna baglydyr.

NVIDIA Dynamo

Geterogen dekodirlemäni iş ýüzünde ulanmak üçin soraglary klassifikasiýa edip bilýän, işi bellenen gijikdirme parametrlerine görä paýlaýan, aralyk işjeňleşdirmeleri minimal çykdajy bilen süýşürýän we intensiw hem-de üýtgewçan trafikde durnukly gijikdirme wagtyny saklaýan programma üpjünçiligi (PO) gerekdir. NVIDIA-nyň aýtmagyna görä, NVIDIA Dynamo soraglara hyzmat edilmegini we dekodirlemäni sazlaşdyrmak (orkestrasiýa) arkaly zerur bolan dolandyryş derejesini üpjün edýär.

Dynamo uly konteksti işlemek we KV-keş döretmek üçin maglumatlary deslapky dolduryş (prefill) çäginde GPU-lara gönükdirýär. Dekodirleme wagtynda bolsa, Dynamo AFD siklini dolandyrýar: onda toplanylan KV-keş işlenilýär, aralyk işjeňleşdirmeler FFN/MoE operasiýalaryny ýerine ýetirmek üçin LPU-lara geçirilýär we çykyş maglumatlary token generasiýasyny dowam etdirmek üçin ýene GPU-lara gaýtarylýar. Netijede, iki sany biri-birinden aýry ulgam däl-de, bitewi we sazlaşykly hyzmat ediş kanaly emele gelýär.

Dynamo, şeýle hem, KV-keşiniň ýagdaýyny göz öňünde tutýan marşrutizasiýany (soraglar eýýäm degişli keşi bolan iş proseslerine ugradylýar), bellenen gijikme nokatlaryna esaslanýan meýilleşdirilişi (interaktiw sessiýalaryň uzyn nobatlara düşmezligi üçin) we maglumat geçirişini dolandyrýar. Munuň saýasynda, Dynamo interaktiw sessiýalar üçin uzyn nobatlaryň öňüni almaga kömek edýär, ulanyjylaryň arasyndaky jitteri (titremäni) azaldýar hem-de parallel işleriň we soraglaryň görnüşiniň üýtgemegine garamazdan, durnukly ahyrky gijikme wagtyny saklaýar.

LLM-leriň (uly dil modelleriniň) inferensi wagtynda gijikdirmeleri azaltmak üçin barha möhüm usullaryň birine spekulatiw dekodirleme öwrülýär. Bu çemeleşme, birnäçe dalaşgär-tokenleri öňünden döretmek üçin kiçijik “garalama” (draft) modelini ulanýar, şol bir wagtda has uly bolan esasy model bolsa parallel usulda bu tokenleri barlaýar. Çaklamalar gabat gelende, birbada birnäçe taýýar tokeni alyp bolýar, bu bolsa sekuntda berilýän netijeli tokenleriň sanyny ep-esli artdyrýar we jogap beriş gijikdirilmesini gysgaldýar.

Şeýle arhitekturada LPX “garalamalar” bilen işlemek üçin örän amatlydyr. Determinirlenen ýerine ýetiriş modeli we SRAM ýadynyň ýokary geçirijilik ukyby “garalama” tokenleriniň çalt döredilmegini üpjün edýär — bu bolsa garalama modeliniň GPU-da işleýän barlaýjy modelden has çalt işlemegine mümkinçilik berýär. Bu bölünişik, “garalama” generasiýasyny we barlag işini (werifikasiýany) şol bir enjamda däl-de, dürli görnüşli (geterogen) prosessorlarda ýerine ýetirmäge ýol açýar.

• PU (Language Processing Unit): Adatça terjime edilmän, gysga at hökmünde saklanylýar.

• Гетерогенная (Heterogeneous): Dürli görnüşli elementlerden ybarat bolan ulgam. Türkmençede geterogen diýlip ulanylýar.

• Агентский ИИ (Agentic AI): Özbaşdak kararlar kabul edip bilýän we belli bir maksada gönükdirilen emeli aň ulgamlary. Türkmen dilinde agentlik emeli aňy diýmek has laýyk gelýär.

• Детерминированный инференс (Deterministic Inference): Emeli aň modeliniň berlen maglumata her gezek durnukly we birmeňzeş wagt aralygynda jogap bermek ukyby. Türkmençede determinirlenen inferens hökmünde berilýär.

• Инференс (Inference): Emeli aň modeliniň taýýar maglumat esasynda netije bermek tapgyry. Tehniki edebiýatda köplenç inferens hökmünde galdyrylýar.

• Агентные системы (Agentic systems): Belli bir wezipäni özbaşdak ýerine ýetirýän emeli aň ulgamlary üçin agentlik ulgamlary diýen adalga ulanyldy.

• Механизм внимания (Attention mechanism): Transformer arhitekturasynyň esasy bölegi bolup, türkmen dilinde üns mehanizmi diýlip terjime edilýär.

• Предварительное заполнение (Prefill): Model tarapyndan soragyň (prompt-uň) ilkinji gezek işlenilmegi.

• 1000 токенов/с (TPS): Türkmen dilinde hem gysgaça TPS (Tokens Per Second) hökmünde galdyrylýar we sekuntda 1000 token diýlip düşündirilýär.

• Рассуждать (Reasoning): Emeli aňyň logiki zynjyry gurmak ukyby üçin pikirlenmek ýa-da logiki netije çykarmak adalgasy laýyk gelýär.

• В режиме совместной работы (Collaborative mode): Bu ýerde emeli aňyň diňe bir sorag-jogap däl-de, adam bilen deň derejede bilelikde işleşmek ukyby göz öňünde tutulýar.

• Масштабирование (Scaling): Tehniki taýdan ulgamyň kuwwatyny giňeltmek we ulaltmak manysynda masştablandyrmak hökmünde berildi.

• Детерминированный обмен (Deterministic exchange): Maglumat çalşygynyň durnuklylygyny we wagtynyň anyklygyny aňladýan determinirlenen çalşyk adalgasy ulanyldy.

• Двунаправленная пропускная способность (Bidirectional bandwidth): Maglumatyň iki ugra hem geçiş ukybyny aňlatmak üçin ikitaraplaýyn geçirijilik ukyby diýlip terjime edildi.

• Конвейер распределённого инференса (Distributed inference pipeline): Emeli aňyň netije çykaryş tapgyrlarynyň dürli düwünlere paýlanmagy.

• Кеш-когерентный (Cache-coherent): Dürli prosessorlaryň keşlerindäki maglumatlaryň yzygiderliligini we birmeňzeşligini saklaýan tehnologiýa. Türkmen dilinde keş-kogerentli hökmünde ulanylýar.

• Программно-планируемое (Software-scheduled): Enjamyň däl-de, programmanyň (bu ýerde kompilýatoryň) öňünden haýsy maglumatyň nirede bolmalydygyny kesgitlemegi.

• Адаптивная маршрутизация (Adaptive routing): Maglumatyň tor boýunça iň amatly ýoly awtomatiki gözlemegi. Groq-da bu ýok, sebäbi ýol öňünden kompilýator tarapyndan çyzylýar.

• Синхронизированы по фазе (Phase-synchronized): Kanallaryň wagtynyň we iş ritminiň bir-birine takyk gabat gelmegi.

• Инференс (Inference): Halkara tehniki adalga bolany üçin inferens hökmünde saklanyldy, ýöne ýanyndan netije çykarmak manysy hem goşuldy.

• Предупредительное заполнение (Prefill): Soragyň ilkinji gezek işlenilme tapgyry üçin deslapky dolduryş adalgasy ulanyldy.

• Зависания, конфликты и джиттер (Hangs, conflicts and jitter): Bu ýerde tehniki bökdençlikleri aňlatmak üçin doňmalar, konfliktler we jitler sözleri ulanyldy (Jitter — maglumat paketleriniň geliş wagtyndaky üýtgeme/titiroleme).

• Два движка (Two engines): Arhitekturadaky iki sany esasy güýji (GPU we LPU) aňlatmak üçin iki hereketlendiriji diýlip terjime edildi.

• КВ-кеш (KV-cache): Emeli aň modellerinde “Key-Value” jütlerini ýatda saklamak üçin ulanylýan tehniki adalga, türkmençede KV-keş hökmünde galdyrylýar.

• Плотные параллельные вычисления (Dense parallel computing): Maglumatlaryň dykyzlygy we bir wagtda işlenilmegi, şonuň üçin dykyz parallel hasaplamalar diýlip terjime edildi.

• Узкие места (Bottlenecks): Ulgamyň umumy öndürijiligini haýallatýan nokatlar. Türkmen dilinde tehniki manyda dar boýunlar ýa-da bökdençlikler diýilýär.

• Маршрутизация с учётом состояния (State-aware routing): Maglumatyň nirededigini bilip, ony iň amatly nokada ugratmak ukyby.

• Целевые значения задержки (Target latency values): Ulanyjynyň garaşýan iň ýokary wagt çägi.

• Форма запросов (Request shapes): Soraglaryň göwrümi we gurluşy (meselem, gysga sorag/uzyn jogap ýa-da tersine).

• Спекулятивное декодирование (Speculative decoding): Modeliň ähtimallyklara esaslanyp öňünden çaklama etmegi. Türkmençede spekulatiw dekodirleme hökmünde berildi.

• Черновая модель (Draft model): Esasy modelden has kiçi we çalt işleýän kömekçi model. Türkmençede “garalama” modeli diýlip terjime edildi.

• Эффективные токены (Effective tokens): Barlagdan geçen we dogry diýlip kabul edilen tokenler.