„Red Hat“, pasaulinis atvirojo kodo programinės įrangos lyderis llm-dnaujas atvirojo kodo projektas, skirtas išspręsti pagrindinį generatyvinės AI iššūkį, efektyviai veikia didelius AI modelius. Derinant „Kubernetes“ ir „VLLM Technologies“, llm-d Įgalina greitą, lanksčią ir ekonomišką AI našumą skirtinguose debesimis ir aparatine įranga.
„CoreWeave“, „Google Cloud“, „IBM Research“ ir „NVIDIA“ yra LLM-D įkūrėjai. Taip pat laive yra tokie partneriai kaip AMD, „Cisco“, „Hugning Face“, „Intel“, „Lambda“ ir „Mistral AI“. Aukščiausias UC Berkeley ir Čikagos universiteto tyrėjai rėmė šį projektą, kuris sukūrė VLLM ir LMCACHE.
Nauja lanksčios, keičiamos AI era
„Red Hat“ tikslas yra aiškus. Leiskite įmonėms naudoti bet kokį AI modelį bet kurioje aparatinėje įrangoje bet kuriame debesyje, nesigilindamos į brangias ar sudėtingas sistemas. Kaip ir „Red Hat“ padėjo „Linux“ paversti standartu verslui, dabar ji nori padaryti VLLM ir LLM-D naują standartą, skirtą valdyti AI mastu.
Sukūręs stiprią, atvirą bendruomenę, „Red Hat“ siekia palengvinti AI, greitesnį ir prieinamesnį visiems.
Taip pat skaitykite: „Kubectl-ai“: AI „Kubernetes Cli Management 2025“
Ką LLM-D atneša prie stalo
llm-d Pristato daugybę naujų technologijų, skirtų pagreitinti ir supaprastinti AI darbo krūvius:
- VLLM integracija: Plačiai priimtas atvirojo kodo išvadų serveris, veikiantis su naujausiais AI modeliais ir daugybe aparatinės įrangos tipų, įskaitant „Google Cloud TPU“.
- Padalintas apdorojimas (priešdelyje ir iššifravimas): Suskirsto modelio užduotis į du veiksmus, kurie gali vykti skirtingose mašinose, kad pagerintų našumą.
- Protingesnė atminties naudojimas („KV Cache“ iškrovimas): Išsaugo brangią GPU atmintį naudodamas pigesnį procesorių arba tinklo atmintį, maitinamą „LMCACHE“.
- Efektyvus išteklių valdymas su „Kubernetes“: Balansuoja skaičiavimo ir saugojimo poreikius realiu laiku, kad viskas būtų greitai ir sklandi.
- AI-AWARE maršrutizavimas: Siunčia užklausas serveriams, kuriems jau yra susijusių duomenų talpykloje talpykloje, o tai pagreitina atsakymus.
- Greitesnis duomenų dalijimasis tarp serverių: Naudoja spartus įrankius, tokius kaip NVIDIA NIXL, kad greitai perkeltų duomenis tarp sistemų.
„Red Hat“ LLM-D yra galinga nauja platforma, skirta greitai ir efektyviai valdyti didelius AI modelius, padedant įmonėms naudoti AI mastu be didelių išlaidų ar sulėtėjimo.
Išvada
„Red Hat“ paleidimas llm-d žymi pagrindinį žingsnį į priekį, kad generatyvinė AI būtų praktiška ir keičiama realaus pasaulio naudojimui. Derindamas „Kubernetes“, „VLLM“ ir „Advanced AI“ infrastruktūros strategijų galią, LLM-D leidžia įmonėms efektyviau valdyti didelius kalbų modelius bet kuriame debesyje, aparatinėje įrangoje ar aplinkoje. Tvirtai palaikant pramonę ir daugiausia dėmesio skiriant atviram bendradarbiavimui, „Red Hat“ ne tik išsprendžia AI išvadų technines kliūtis, bet ir padeda pagrindą lanksčiai, prieinamai ir standartizuotai AI ateičiai.
Nuoroda į informacijos šaltinį