Megállíthatatlanul terjed az AI, vagyis a mesterséges intelligencia, és ez várhatóan a jövőben sem változik meg. A technológia alkalmazása sok területen elkerülhetetlen lesz, ha valaki nem él a lehetőségekkel, akkor valószínűleg versenyhátrányba kerül majd. De hogy melyek ezek a területek? Mindenkinek vállalatnál más, az viszont egyértelmű, hogy jelenleg az LLM-ek, vagyis a nagy nyelvi modellek számítanak a legnépszerűbbnek. Ezek online szolgáltatás formájában könnyen elérhetők, a ChatGPT-t valószínűleg sokan ismerik, de rengeteg alternatívája is van. Azonban ezek a szolgáltatások nem jelentenek megoldást minden vállalatnak, ugyanis külső szervereken futnak, az erőforrások pedig előfizetési díj fejében használhatók. És bár hiába van szinte minden adatkezelési irányelvben leírva, hogy a felhasználó által bevitt adatokat az üzemeltető nem használja fel a modelljeinek tanítására, ezt legfeljebb elhinni lehet, ellenőrizni nem.
Az AI szerepe a KKV-knál
A legtöbb hazai cégre amúgy is jellemző a bizalmatlanság, elvégre kell némi egészségesnek mondható paranoia, hogy az üzleti életben sikereket lehessen elérni: ezért is létezik a vállalati titok fogalma. A kérdés innentől kezdve az, hogy milyen módon legyen hasznosítva az AI úgy, hogy közben ezek a titkok nem kerülnek veszélybe. Ha az LLM-eket nézzük, akkor az egyik legcélszerűbb módszer az egyes modellek lokális futtatása. Lehet venni egy saját szervert erre, amin kialakítható egy házon belüli ChatGPT-alternatíva. A gondot az jelenti, hogy a megfelelően erős szerverek nem éppen olcsók, százezer dolláros tételeket pedig a KKV-k többsége nem tud ilyen fejlesztésekre fordítani, ezek az árak inkább a nagyvállalatokra vannak szabva.
A kérdés, hogy egy átlagos, végfelhasználóknak szánt számítógépen lehetséges-e az LLM-ek lokális futtatása. Részben igen, ugyanis az egyes LLM-eknek léteznek különböző paraméterezésű verziói. Ez azt jelenti, hogy egy adott modell, még ha ugyanabból az adathalmazból is van tréningelve, illetve ugyanazt az alapvető architektúrát használja, eltérő paraméterszám mellett más válaszokat adhat. Nagyon leegyszerűsítve, a legtöbb mai számítógépen futtatható, 7 milliárd paraméteres LLM ugyanarra a kérdésre jóval egyszerűbben válaszol, mint ugyanannak az LLM-nek a nagyobb, például 65 milliárd paraméteres verziója. Fontos, hogy ezen nem a válasz helyessége múlik, hanem sokkal inkább annak a felépítése. Egy kisebb modell egy történelmi kérdés kapcsán pontosan megmond eseményekre vonatkozó dátumokat, de ennek egy nagyobb verziója kontextusba is helyezik ezeket az eseményeket.
Ebből egyértelműen látszik, hogy miért előnyösebbek a nagyobb LLM-eket futtató szerverek a végfelhasználókat célzó gépekkel szemben, a hardvergyártó pedig el is indultak abba az irányba, hogy biztosítsanak valamilyen átmenetet. Ezek a gépek nyilván messze nem lesznek olyan gyorsak, mint a százezer dollár fölötti áron kínált, AI-ra szabott konfigurációk, de legalább elfogadható sebességgel képesek futtatni azokat az LLM-eket, amelyek gyakorlatilag használhatatlanok még a legerősebb asztali számítógépen is.
Ennek az iránynak az úttörője az új Mac Studio, és ezt lényegében annak köszönheti, hogy a felhasznált rendszerchip mellé sok rendszermemóriát lehet helyezni, márpedig az alapvető tempó tekintetében ez a sok paramétert használó LLM-ek legfőbb igénye. Persze számít a memória-sávszélesség és a számítási teljesítmény is, de itt azt kell figyelembe venni, hogy ha az adott LLM a munkavégzés szempontjából bele sem fér a memóriába, akkor annak a futtatási sebessége gyakorlatilag vállalhatatlan lesz.
Bár az Apple már az első Mac Studio esetében is lehetővé tett sok memóriát használó konfigurációkat, valójában a legújabb verzió kapcsán gyújtották be igazán a rakétákat. Az erősebb M3 Ultra rendszerchipet használó dizájnba akár 512 GB-nyi, LPDDR5X szabványú rendszermemória is kérhető, a gép ára pedig a töredéke egy szervernek. Itt megjegyeznénk, hogy az SSD-ből sem érdemes kicsit választani, mert a sok paramétert használó LLM-ek tárhelyigénye is komoly, de ha valaki megelégszik egy telepített modellel, akkor megfelelhet számára akár az 1 TB-os SSD-vel szerelt gép, ami szintén rendelhető a Mac Studióból.
De mit jelenthet ez a gyakorlatban?
Az új Mac Studio egyik legvonzóbb tulajdonsága, hogy a DeepSeek-R1 legnagyobb, 671 milliárd paraméterrel rendelkező modelljét is be tudja tölteni a rendszermemóriába. Ennek már el is készült az Apple MLX nevű, gépi tanulási keretrendszerhez tervezett verziója, 4 bites kvantálással. Előbbi teszi lehetővé azt, hogy maga az LLM futtatható legyen az említett számítógépen, például az LM Studio nevű programon keresztül, míg utóbbi alacsonyabb bitszélességű reprezentációval helyettesíti az eredeti modellben használt számokat, többek között súlyokat, aktivációkat, vagyis a modellnek a pontossága esetlegesen csökkenhet, de a futtatási hatékonyság javul.
A DeepSeek-R1 azért is érdekes alternatíva a Mac Studióra, mert az említett LLM 400 GB-nál is több helyet igényel, és ezt bizony be kell tölteni a rendszermemóriába, amihez ke
