ReALM. Prelomový jazykový model od Apple? | AI v podnikaní #121

Čo je ReALM?

ReALM znamená “Reference Resolution As Language Modeling,” prelomové riešenie vyvinuté výskumníkmi spoločnosti Apple. Je to teda nový jazykový model (Large Language Model, LLM), ktorý považuje problém rozpoznávania referencií za úlohu v oblasti jazykového modelovania.

ReALM efektívne konvertuje rôzne typy kontextu na textovú reprezentáciu, ktorú následne spracováva ako súčasť jazykovej úlohy. To môže zahŕňať:

• konverzácie – ako sú textové správy, hlasové príkazy asistentovi alebo e-maily,
• prvky na obrazovke – napríklad fotografie, kalendár, widget počasia alebo aplikácie a procesy bežiace na pozadí.

Čo robí ReALM odlišným od iných modelov rozpoznávania referencií? Po prvé, prístup – namiesto spoliehania sa na spracovanie obrázkov, ReALM funguje v textovej doméne. To ho robí oveľa ľahším a efektívnejším, čo by malo umožniť jeho beh priamo na mobilných zariadeniach pri zachovaní súkromia používateľov.

V čom je ReALM lepší ako GPT-4?

Výskumný tím spoločnosti Apple porovnal ReALM s najvýkonnejšími jazykovými modelmi na trhu dnes – GPT-3.5 a GPT-4 od OpenAI. Výsledky boli pôsobivé. V úlohách rozpoznávania referencií dosiahla najmenšia varianta ReALM presnosť porovnateľnú s GPT-4! Väčšie modely ReALM dokonca prekonali GPT-4 v rozpoznávaní referencií na položky zobrazené na obrazovke (http://arxiv.org/abs/2403.20329).

Čo vysvetľuje túto výhodu? Po prvé, ReALM je skvelý pri doménovo špecifických dotazoch, ako sú tie týkajúce sa inteligentných domácich spotrebičov. To je preto, že ReALM demonštruje hlbšie pochopenie kontextu doladením modelu pre doménovo špecifické dáta.

Čo je viac, na rozdiel od GPT-4, ktorý sa primárne trénuje na obrázkoch skutočných objektov, ReALM vyniká v rozpoznávaní textových prvkov a komponentov používateľských rozhraní aplikácií. A práve pochopenie rozhrania je kľúčové pre plynulú interakciu hlasových asistentov s aplikáciami, ktoré dnes používame.

Zdroj: DALL·E 3, prompt: Marta M. Kania (https://www.linkedin.com/in/martamatyldakania/)

Je toto začiatok éry skutočne inteligentných asistentov?

Skutočne, integrácia ReALM so Siri by mohla otvoriť úplne novú kapitolu v interakcii človeka s počítačom. S ReALM bude Siri schopná rozumieť príkazom, ktoré obsahujú odkazy na položky zobrazené na obrazovke smartfónu, ako aj na procesy a aplikácie bežiace na pozadí. Ale kedy bude táto možnosť dostupná pre používateľov? To je zatiaľ neznáme.

Zostáva nám len špekulovať na základe technických schopností modelu. Ako by mohla fungovať Siri poháňaná ReALM? Napríklad, ak prezeráte webovú stránku s obchodnými inzerátmi a vidíte spoločnosť, o ktorú máte záujem, môžete jednoducho povedať Siri: “Zavolaj tejto spoločnosti,” a asistent – využívajúci ReALM na analýzu kontextu – nájde telefónne číslo spoločnosti, ktorú špecifikujete, a iniciuje hovor. Nemusíte ani presne vysvetľovať, ktorú spoločnosť máte na mysli.

A to je len začiatok možností ReALM. Príkazy ako „Prehraj posledný playlist“ by umožnili intuitívnu kontrolu multimediálnych aplikácií a zariadení inteligentného domu. ReALM by mohol tiež umožniť Siri rozumieť kontextu konverzácií a histórii príkazov, aby asistent reagoval adekvátne na predchádzajúce požiadavky používateľa. To je krok smerom k inteligentným agentom, ktorý nás približuje nie k umelej inteligencii rozumejúcej našim požiadavkám, ale k takej, ktorá bude vedieť realizovať príkazy.

A toto je len začiatok toho, čo ReALM dokáže. Príkazy ako “prehrávaj posledný playlist” by umožnili intuitívnu kontrolu multimediálnych aplikácií a zariadení inteligentného domu. ReALM by mohol tiež umožniť Siri rozumieť kontextu konverzácií a histórii príkazov, aby asistent reagoval adekvátne na predchádzajúce požiadavky používateľa. To je krok smerom k inteligentným agentom, ktorý nás približuje nie k umelej inteligencii, ktorá rozumie našim požiadavkám, ale k takej, ktorá vie, ako vykonávať príkazy.

Žiaľ, používatelia zariadení Android budú musieť čakať. V súčasnosti nie sú žiadne informácie o plánoch spoločnosti Google pridať schopnosti Gemini do Google Assistant. Aplikácia Google Gemini pre zariadenia Android bola vyvinutá (https://play.google.com/store/apps/details?id=com.google.android.apps.bard&hl=en_US), ale zatiaľ nie je dostupná mimo Spojených štátov.

Zdroj: Google Play (https://play.google.com/store/apps/details?id=com.google.android.apps.bard&hl=en_US)

Zhrnutie

ReALM je inovatívny prístup spoločnosti Apple k riešeniu problému rozpoznávania kontextu hlasovými asistentmi. Namiesto spoliehania sa na spracovanie obrázkov tento jazykový model konvertuje rôzne typy kontextu na textovú reprezentáciu, ktorú následne spracováva v jazykovej úlohe. Tento prístup zabezpečuje nielen vysokú presnosť rozpoznávania, ale aj schopnosť fungovať na mobilnom zariadení pri zachovaní súkromia používateľov.

Poskytnutie prístupu Siri k ReALM môže poskytnúť prirodzenejšie a kontextuálne hlasové interakcie, čo je dôležitý krok smerom k skutočne inteligentným asistentom. S ReALM bude Siri schopná okamžite reagovať na príkazy týkajúce sa položiek na obrazovke, aplikácií a procesov na pozadí. Jedna vec je istá – zlepšenie kontextového povedomia asistentov je kľúčom k vytvoreniu skutočne inteligentných a prirodzených hlasových interakcií, a ReALM je bezpochyby dôležitým krokom týmto smerom.

Ak sa vám náš obsah páči, pridajte sa k našej komunite usilovných včiel na Facebooku, Twitteri, LinkedIn, Instagrame, YouTube, Pintereste, TikToku.