Csütörtökön az Inception Labs bemutatta a Mercury Coder-t, egy új AI nyelvi modellt, amely diffúziós technikákat alkalmaz a szöveg gyorsabb generálására, mint a hagyományos modellek. A klasszikus modellek, mint például a ChatGPT, szó szerint építik fel a szöveget, míg a diffúziós alapú modellek, mint a Mercury, egyszerre termelik meg a válaszokat, finomítva azokat egy kezdetben maszkolt állapotból.
A diffúziós modellek működése
A hagyományos nagy nyelvi modellek balról jobbra, egy token (szó) alapján építkeznek, az autoregresszió technikát használva. Minden egyes szó várakozik az előző szavakra, míg a diffúziós modellek, mint a Mercury, egy maszkolt tartalommal kezdik, és fokozatosan „denoizálják” a kimenetet, felfedve a válasz minden részét egyszerre.
Gyorsaság és teljesítmény
A Mercury a hírek szerint több mint 1,000 token-t generál másodpercenként az Nvidia H100 GPU-kon. Ez drámai sebességjavulást jelent a hasonló méretű hagyományos modellekhez képest. A Mercury Coder Mini például 88.0%-ot ér el a HumanEval-on, míg a GPT-4o Mini 59 token per másodperces sebességgel működik, ezzel szemben a Mercury Coder Mini 1,109 token per másodperc sebességet mutat.
Új lehetőségek a nyelvi modellek terén
A diffúziós modellek új irányokat nyithatnak meg a nyelvi modellek fejlesztésében. Simon Willison független AI kutató szerint „nagyon tetszik, hogy az emberek alternatív architektúrákkal kísérleteznek”, míg Andrej Karpathy, a korábbi OpenAI kutató, a Mercuryról írta, hogy „ez a modell potenciálisan más lehet, és új pszichológiai erősségeket vagy gyengeségeket mutathat be.”
Érdekes tény: A diffúziós modellek nemcsak a szöveg generálásában, hanem a képgenerálásban is forradalmi változásokat hoztak, így a technológia alkalmazása minden területen folyamatosan terjed!
Források: Inception Labs, Ars Technica
