Google Genie — generatívny AI model, ktorý vytvára plne interaktívne svety z obrázkov | AI v podnikaní #123

Čo je Google Genie?

Google Genie (https://sites.google.com/view/genie-2024/) je základný svetový model vyvinutý spoločnosťou DeepMind. Je to generatívny AI model trénovaný na viac ako 30 000 hodinách verejne dostupného videa z 2D plošinoviek. Jeho kľúčovou vlastnosťou je schopnosť generovať plne interaktívne, hrateľné prostredia priamo z jednotlivých obrázkov, fotografií a dokonca aj ručne kreslených skíc.

Zdroj: Genie: Generative Interactive Environments (https://arxiv.org/abs/2402.15391)

Ako je to možné? Genie používa techniku učenia bez dozoru v procese získavania schopnosti presne ovládať prostredie na základe videa. Nie je potrebné označovanie ľudských akcií. Pomocou špeciálneho modulu na kódovanie akcií zachytáva jemné zmeny medzi po sebe idúcimi video rámcami a mapuje ich na interné reprezentácie pohybu, ako je skákanie alebo otáčanie doľava. Model dynamiky potom generuje nasledujúci rámec v sekvencii na základe kódovaných akcií.

V dôsledku toho môže Genie vytvárať plne ovládateľné, interaktívne herné prostredia z akýchkoľvek vizuálnych údajov. Každý pohyb hráča generuje nový, jedinečný rámec v reálnom čase, čím vytvára plynulú, hrateľnú reláciu. Toto je naozaj veľká inovácia, ktorá nám umožňuje vytvárať celé interaktívne svety z obrázkov alebo textu.

Prečo je Genie inovatívny?

Inovácia Genie spočíva v kombinovaní niekoľkých kľúčových prvkov v jednom modeli:

• generatívne video modely, ako Phenaki (https://phenaki.video/), TECO (https://wilson1yan.github.io/teco/) alebo maskvit (https://arxiv.org/abs/2206.11894), ktoré dokážu predpovedať budúce rámce sekvencie na základe vstupných rámcov a textu, ale nenabízajú aktívne ovládacie schopnosti,
• svetové modely, ktoré sa zameriavajú na predpovedanie budúcich stavov prostredia na základe akcií agenta, ale vyžadujú údaje poskytnuté ľuďmi,
• učenie bez dozoru, ktoré umožňuje Genie učiť sa dynamiku prostredia a akčný priestor len z surových video údajov, bez označení ľudských akcií.

Aj keď sa každá z týchto oblastí už predtým skúmala, Genie je prvý model, ktorý ich kombinuje na učenie ovládateľných prostredí priamo z videozáznamu. Tento bezprecedentný prístup k vyučovaniu modelov bez ľudského dozoru je kľúčovou inováciou Genie. Otvára dvere k využívaniu obrovského množstva videa dostupného na internete ako zdroja na tréning AI modelov a prekonáva prekážky spojené s obmedzenou dostupnosťou označených údajov.

Kombinácia generatívnych video modelov, svetových modelov a učenia bez dozoru v jednom riešení predstavuje zásadný pokrok vo vývoji umelej inteligencie. Genie ukazuje, že pokročilé AI systémy môžu učiť komplexné správanie a prostredia priamo z neštruktúrovaných údajov, bez manuálneho označovania. Toto je kľúčový krok na ceste k dosiahnutiu skutočnej všeobecnej inteligencie (AGI).

Zdroj: Google Genie (https://sites.google.com/view/genie-2024/)

Potenciálne aplikácie Google Genie

Schopnosti Google Genie presahujú generovanie videohier. Tento priekopnícky AI model môže nájsť uplatnenie v mnohých oblastiach:

• nástroj pre animátorov – stačí nahrať obrázok, skicu alebo krátky textový popis a Genie vygeneruje konzistentnú animáciu,
• neobmedzený tréningový zdroj pre AI agentov – so svojou schopnosťou generalizovať na úplne nové domény ponúka Genie nekonečný bazén výziev, na ktorých sa môžu učiť budúce AI systémy. Nedostatok rôznorodých tréningových prostredí bol doteraz jednou z kľúčových prekážok vo vývoji generických AI agentov,
• fyzikálne simulácie pre robotiku – výskum ukázal, že Genie je schopný nielen ovládať virtuálne roboty, ale aj realizovať fyzikálne vlastnosti deformovateľných objektov. To by mohlo mať obrovské dôsledky pre rozvoj robotiky a fyzikálnych simulácií,
• aplikácie v kreatívnych odvetviach – Genie môže uľahčiť vytváranie interaktívnych umeleckých inštalácií, virtuálnych výstav alebo filmov. Stačí nahrať skicu a model vygeneruje plne ovládateľný 3D svet, pripravený na preskúmanie.

Avšak potenciálne výzvy a obmedzenia tejto technológie by nemali byť prehliadané. V súčasnej fáze vývoja funguje Genie najlepšie v úzkych doménach, ako sú 2D plošinovky. Rozšírenie na zložitejšie 3D prostredia si bude vyžadovať ďalší výskum a optimalizáciu. Okrem toho existuje riziko, že by sa táto technológia mohla zneužiť na vytváranie škodlivého alebo nebezpečného obsahu. Preto je kritické vyvinúť robustný etický a právny rámec na riadenie vývoja a používania takýchto AI modelov.

Zdroj: Google Genie (https://sites.google.com/view/genie-2024/)

Zhrnutie

Umožnením vytvárania plne interaktívnych prostredí priamo z vizuálnych údajov, bez potreby manuálneho označovania akcií, Google Genie predstavuje skutočný prelom v generatívnej umelej inteligencii. Tento základný svetový model dáva moc vyjadriť obraznosť vo forme hrateľných virtuálnych realít, ktoré môžu byť preskúmané a ovládané človekom alebo AI agentom.

Potenciál Genie je obrovský – od nástrojov pre vývojárov hier, cez neobmedzený zdroj tréningových údajov pre AI, až po fyzikálne simulácie pre robotiku. Je to tiež dôležitý krok na ceste k AGI. Ako modely ako Genie pokračujú vo vývoji, hranica medzi reálnym a virtuálnym svetom sa stáva čoraz plynulejšou.

Ak sa vám náš obsah páči, pridajte sa k našej komunite usilovných včiel na Facebooku, Twitteri, LinkedIn, Instagrame, YouTube, Pinterest, TikTok.