Megállíthatatlanul terjed az AI, vagyis a mesterséges intelligencia, és ez várhatóan a jövőben sem változik meg. A technológia alkalmazása sok területen elkerülhetetlen lesz, ha valaki nem él a lehetőségekkel, akkor valószínűleg versenyhátrányba kerül majd. De hogy melyek ezek a területek? Mindenkinek vállalatnál más, az viszont egyértelmű, hogy jelenleg az LLM-ek, vagyis a nagy nyelvi modellek számítanak a legnépszerűbbnek. Ezek online szolgáltatás formájában könnyen elérhetők, a ChatGPT-t valószínűleg sokan ismerik, de rengeteg alternatívája is van. Azonban ezek a szolgáltatások nem jelentenek megoldást minden vállalatnak, ugyanis külső szervereken futnak, az erőforrások pedig előfizetési díj fejében használhatók. És bár hiába van szinte minden adatkezelési irányelvben leírva, hogy a felhasználó által bevitt adatokat az üzemeltető nem használja fel a modelljeinek tanítására, ezt legfeljebb elhinni lehet, ellenőrizni nem.
Az AI szerepe a KKV-knál
A legtöbb hazai cégre amúgy is jellemző a bizalmatlanság, elvégre kell némi egészségesnek mondható paranoia, hogy az üzleti életben sikereket lehessen elérni: ezért is létezik a vállalati titok fogalma. A kérdés innentől kezdve az, hogy milyen módon legyen hasznosítva az AI úgy, hogy közben ezek a titkok nem kerülnek veszélybe. Ha az LLM-eket nézzük, akkor az egyik legcélszerűbb módszer az egyes modellek lokális futtatása. Lehet venni egy saját szervert erre, amin kialakítható egy házon belüli ChatGPT-alternatíva. A gondot az jelenti, hogy a megfelelően erős szerverek nem éppen olcsók, százezer dolláros tételeket pedig a KKV-k többsége nem tud ilyen fejlesztésekre fordítani, ezek az árak inkább a nagyvállalatokra vannak szabva.
A kérdés, hogy egy átlagos, végfelhasználóknak szánt számítógépen lehetséges-e az LLM-ek lokális futtatása. Részben igen, ugyanis az egyes LLM-eknek léteznek különböző paraméterezésű verziói. Ez azt jelenti, hogy egy adott modell, még ha ugyanabból az adathalmazból is van tréningelve, illetve ugyanazt az alapvető architektúrát használja, eltérő paraméterszám mellett más válaszokat adhat. Nagyon leegyszerűsítve, a legtöbb mai számítógépen futtatható, 7 milliárd paraméteres LLM ugyanarra a kérdésre jóval egyszerűbben válaszol, mint ugyanannak az LLM-nek a nagyobb, például 65 milliárd paraméteres verziója. Fontos, hogy ezen nem a válasz helyessége múlik, hanem sokkal inkább annak a felépítése. Egy kisebb modell egy történelmi kérdés kapcsán pontosan megmond eseményekre vonatkozó dátumokat, de ennek egy nagyobb verziója kontextusba is helyezik ezeket az eseményeket.
Ebből egyértelműen látszik, hogy miért előnyösebbek a nagyobb LLM-eket futtató szerverek a végfelhasználókat célzó gépekkel szemben, a hardvergyártó pedig el is indultak abba az irányba, hogy biztosítsanak valamilyen átmenetet. Ezek a gépek nyilván messze nem lesznek olyan gyorsak, mint a százezer dollár fölötti áron kínált, AI-ra szabott konfigurációk, de legalább elfogadható sebességgel képesek futtatni azokat az LLM-eket, amelyek gyakorlatilag használhatatlanok még a legerősebb asztali számítógépen is.
Ennek az iránynak az úttörője az új Mac Studio, és ezt lényegében annak köszönheti, hogy a felhasznált rendszerchip mellé sok rendszermemóriát lehet helyezni, márpedig az alapvető tempó tekintetében ez a sok paramétert használó LLM-ek legfőbb igénye. Persze számít a memória-sávszélesség és a számítási teljesítmény is, de itt azt kell figyelembe venni, hogy ha az adott LLM a munkavégzés szempontjából bele sem fér a memóriába, akkor annak a futtatási sebessége gyakorlatilag vállalhatatlan lesz.
Bár az Apple már az első Mac Studio esetében is lehetővé tett sok memóriát használó konfigurációkat, valójában a legújabb verzió kapcsán gyújtották be igazán a rakétákat. Az erősebb M3 Ultra rendszerchipet használó dizájnba akár 512 GB-nyi, LPDDR5X szabványú rendszermemória is kérhető, a gép ára pedig a töredéke egy szervernek. Itt megjegyeznénk, hogy az SSD-ből sem érdemes kicsit választani, mert a sok paramétert használó LLM-ek tárhelyigénye is komoly, de ha valaki megelégszik egy telepített modellel, akkor megfelelhet számára akár az 1 TB-os SSD-vel szerelt gép, ami szintén rendelhető a Mac Studióból.
De mit jelenthet ez a gyakorlatban?
Az új Mac Studio egyik legvonzóbb tulajdonsága, hogy a DeepSeek-R1 legnagyobb, 671 milliárd paraméterrel rendelkező modelljét is be tudja tölteni a rendszermemóriába. Ennek már el is készült az Apple MLX nevű, gépi tanulási keretrendszerhez tervezett verziója, 4 bites kvantálással. Előbbi teszi lehetővé azt, hogy maga az LLM futtatható legyen az említett számítógépen, például az LM Studio nevű programon keresztül, míg utóbbi alacsonyabb bitszélességű reprezentációval helyettesíti az eredeti modellben használt számokat, többek között súlyokat, aktivációkat, vagyis a modellnek a pontossága esetlegesen csökkenhet, de a futtatási hatékonyság javul.
A DeepSeek-R1 azért is érdekes alternatíva a Mac Studióra, mert az említett LLM 400 GB-nál is több helyet igényel, és ezt bizony be kell tölteni a rendszermemóriába, amihez kelleni fog az 512 GB-os konfiguráció. Viszont a modell architektúrája nagyon különleges, mert 37 milliárdos aktív paraméterszámmal dolgozik, ami azt jelenti, a specifikus AI-szervereknél alacsonyabb memória-sávszélesség mellett is relatíve gyors tud maradni a válaszok generálása. Az új Apple hardvernél itt 819,2 GB/s-ról van szó, ami alacsonyabb a szerverekbe szánt, modernebb AI gyorsítók 4-6 TB/s-os értékénél, de arra elég, hogy nagyjából 20-25 token/másodperces teljesítménnyel adjon válaszokat. Ez talán így keveset mond, mert a token egy nem túl ismert fogalom, és nehéz is egyértelműen úgy lefordítani, hogy a szavak számát adjuk meg helyette, mert az egyes nyelvekben a szavak hossza eltérő lehet. De nagyjából elmondható, hogy hozzávetőleg 10-20 másodpercen belül generálható egy átlagos hosszúságú és komplexitású, 100-300 szavas válasz a 671 milliárd paraméteres DeepSeek-R1-gyel az új Mac Studión, ha abban 512 GB memória van. Egy hosszabb, 400-500 szavas válasz előállítása körülbelül 30 másodpercet vesz igénybe.
Megfizethető belépő
Bár a Mac Studio 512 GB-os verziójának az ára egy MacBook Pro gépnél nyilván magasabb, egy komolyabb, AI-ra szabott szerver árának csak a töredéke. Persze a teljesítménye is elmarad azokétól, de elmondható, hogy ha alapvető igény a rendkívül nagy LLM-ek futtatása (és itt elsődlegesen a legnagyobb DeepSeek-R1 modellre érdemes gondolni a jól felépített architektúra miatt), akkor ez a gép jelenleg a legolcsóbb olyan megoldás, ami megfelelő sebességet tud elérni. Ez pedig a KKV-k számára kifejezetten hasznos lehet, hiszen a nagyvállalatokhoz viszonyítva csökkenthetik a lemaradásukat az AI-munkafolyamatok lokális elvégzése terén. Sőt, a Thunderbolt 5 segítségével akár több Mac Studio is összekapcsolható, ráadásul a TensorFlow és a PyTorch gépi tanulási keretrendszerek támogatják az elosztott számítást több gép között, noha ez most még egy ingoványos terep, mert nem mindegyik LLM van erre felkészítve. Emellett az adatmásolások a Thunderbolt 5 interfészen keresztül nem feltétlenül elég gyorsak ahhoz, hogy ez ne jelentsen szűk keresztmetszetet a skálázódást tekintve, de összességében azért pozitívum, hogy van lehetőség a bővítésre.
Hogy mire használhatjuk? Ideális alternatíva lehet AI-alapú chatbotok és virtuális asszisztensek futtatására. Az ügyfélszolgálat így részben automatizálható, válaszolva az ügyfelek gyakori kérdéseire. Potenciálisan értékes terület az adatbányászat és prediktív analitika is, ami segít átlátni a vásárlói szokásokat és trendeket, ezáltal a készletkezelésbe vagy marketingkampányok optimalizálhatók. A szövegelemzés révén az ügyfelek véleményei és visszajelzései könnyebben kiértékelhetők, így gyorsabban lehet ezekre reagálni az ügyfélelégedettség növelése érdekében. Akár pénzügyi elemzés is lehetséges, optimalizálva a költségvetést.
Ha túllépünk az LLM-eken, akkor akár képeket is lehet generálni a rendszerrel, ez segíthet egyedi, márkára szabott reklámok tervezésében, fejlesztés alatt álló termékek illusztrációinak elkészítésében, ráadásul ide nem is kellenek a legjobb konfigurációk. És itt érdemes figyelembe venni azt, hogy mire van szükség. Az AI nagyon széles területet fed le, és ezáltal az erőforrásigény is változik. Az 512 GB-os konfigurációra akkor van szükség, ha tényleg igény van a DeepSeek-R1 legnagyobb, 671 milliárd paraméterrel rendelkező modelljének futtatására. Kisebb LLM-ek esetén opció lehet kevesebb memóriával rendelni a gépet, itt csak arra kell figyelni, hogy a kiválasztott modellnek ez elég legyen. Ha pedig csak képgenerálásra lenne használva, akkor arra jó lehet az alapkonfiguráció is.
A fentiek miatt az új Mac Studio nagyon izgalmas alternatíva. Az Apple lényegében megpróbál hidat építeni azokhoz az AI-munkafolyamatokhoz, amelyekhez korábban komolyabb szerverek kellettek. Ezzel kiszélesedik az út a KKV-k számára a különböző AI-szolgáltatások és feladatok kialakítása előtt, hiszen mostantól nem szükséges nagyon drága berendezések vásárlása.
