Multimodálna AI. Nové využitie umelej inteligencie v podnikaní | AI v podnikaní #21

Čo je multimodálny AI?

Multimodálny AI je vysoko pokročilá forma AI, ktorá napodobňuje ľudskú schopnosť interpretovať svet pomocou obsahu a údajov z rôznych zmyslov. Rovnako ako ľudia rozumejú textu, obrázkom a zvukom, multimodálny AI integruje tieto rôzne typy údajov, aby pochopil kontext a komplexný význam obsiahnutý v informáciách. V podnikaní, napríklad, môže umožniť lepšie pochopenie názorov zákazníkov analýzou toho, čo hovoria, a ako to vyjadrujú prostredníctvom tónu hlasu alebo výrazu tváre.

Tradičné AI systémy sú zvyčajne unimodálne, čo znamená, že sa špecializujú na jeden typ údajov, ako je text alebo obrázky. Môžu spracovávať veľké množstvá údajov rýchlo a odhaľovať vzory, ktoré ľudská inteligencia nedokáže zachytiť. Avšak majú vážne obmedzenia. Sú necitlivé na kontext a menej zručné pri riešení nezvyčajných a nejednoznačných situácií.

Preto multimodálny AI ide o krok ďalej, integrujúc modality. To umožňuje hlbšie porozumenie a oveľa zaujímavejšie interakcie medzi ľuďmi a AI.

Čo môže multimodálny AI robiť?

Modely umelej inteligencie vyvinuté dnes využívajú nasledujúce páry modalít:

• z textu na obrázok – taký multimodálny AI môže vytvárať obrázky na základe textových podnetov; to je základná schopnosť slávneho Midjourney, OpenAI vyvinutého DALL-E 3, dostupného v prehliadači ako Bing Image Creator, pokročilého Stable Diffusion alebo najmladšieho nástroja v rodine, Ideogram, ktorý nielenže rozumie textovým podnetom, ale môže tiež umiestniť text na obrázok:


Zdroj: Ideogram (https://ideogram.ai)

Modely multimodálneho AI sú tiež schopné sledovať textové podnety a obrázok, ktorým sú “inšpirované”, súčasne. Ponúkajú ešte zaujímavejšie, presnejšie definované výsledky a variácie vytvorených obrázkov. To je veľmi užitočné, ak chcete získať mierne odlišnú grafiku alebo banner, alebo pridať či odstrániť jeden prvok, ako je šálka kávy:



Zdroj: Ideogram (https://ideogram.ai)

• Z obrázka na text – umelá inteligencia môže robiť oveľa viac než len rozpoznať a preložiť text viditeľný na obrázku alebo nájsť podobný produkt. Môže tiež opísať obrázok slovami – ako to robí Midjourney, keď napíšete príkaz /describe, Google Bard a model Salesforce (používaný hlavne na vytváranie automatizovaných popisov produktov a obrázkov na e-commerce stránkach,


Zdroj: HuggingFace.co (https://huggingface.co/tasks/image-to-text)

• z hlasu na text – multimodálny AI tiež umožňuje hlasové príkazy v Google Bard, ale najlepšie sa to vykonáva pomocou Bing Chat, ako aj ChatGPT vďaka jeho vynikajúcemu Whisper API, ktoré zvláda rozpoznávanie a zaznamenávanie reči spolu s interpunkciou v niekoľkých jazykoch, čo môže, mimo iného, výrazne uľahčiť prácu medzinárodným zákazníckym servisným centrám, ako aj pripraviť rýchlu transkripciu stretnutí a preklad obchodných rozhovorov do iných jazykov v reálnom čase,
• z textu na hlas – nástroj ElevenLabs nám umožňuje previesť akýkoľvek text, ktorý si vyberieme, na realisticky znejúci prejav, a dokonca “klonovanie hlasu,” pričom môžeme AI naučiť jeho zvuk a výraz, aby vytvoril nahrávku akéhokoľvek textu v cudzom jazyku na marketing alebo prezentácie pre zahraničných investorov, napríklad,
• z textu na video – prevod textu na video s hovoriacim avatarom je možný v nástrojoch D-ID, Colossyan a Synthesia, medzi inými,
• z obrázka na video – generovanie videí, vrátane hudobných videí, z obrázkov a textových podnetov je už dnes možné vďaka Kaiber, a Meta oznámila, že čoskoro vydá nástroj Make-A-Video,
• obrázok a 3D model – toto je obzvlášť sľubná oblasť multimodálneho AI, na ktorú sa zameriavajú Meta a Nvidia, ktorá umožňuje vytváranie realistických avatarov z fotografií, ako aj budovanie 3D modelov objektov a produktov pomocou Masterpiece Studio (https://masterpiecestudio.com/masterpiece-studio-pro), NeROIC (https://zfkuang.github.io/NeROIC/), 3DFY (https://3dfy.ai/), s ktorými, napríklad, môže byť dvojrozmerne prototypovaný produkt vrátený pred kameru s inou stranou, môže byť rýchla 3D vizualizácia vytvorená z náčrtu kusu nábytku, alebo dokonca textový popis:


Zdroj: NeROIC (https://zfkuang.github.io/NeROIC/resources/material.png)

• z obrázka na pohyb v priestore – táto modalita umožňuje multimodálnemu AI preniknúť za obrazovky do zóny Internetu vecí (IoT), autonómnych vozidiel a robotiky, kde zariadenia môžu vykonávať presné akcie vďaka pokročilému rozpoznávaniu obrázkov a schopnosti reagovať na zmeny v prostredí.

Existujú aj experimenty s multimodálnym AI, ktoré prekladajú hudbu do obrázkov, napríklad (https://huggingface.co/spaces/fffiloni/Music-To-Image), ale pozrime sa bližšie na obchodné aplikácie multimodálneho AI. Ako sa teda otázka multimodality prejavuje v najpopulárnejších AI chatbotoch, ChatGPT a Google Bard?

Multimodalita v Google Bard, BingChat a ChatGPT

Google Bard dokáže opisovať jednoduché obrázky a od júla 2023 je vybavený hlasovou komunikáciou, keď sa objavil v Európe. Napriek variabilnej kvalite výsledkov rozpoznávania obrázkov, to bola doteraz jedna z výhod, ktorá odlišuje Google riešenie od ChatGPT.

BingChat, vďaka svojmu využitiu DALL-E 3, môže generovať obrázky na základe textových alebo hlasových podnetov. Hoci nemôže slovami opísať obrázky priložené používateľom, môže ich upraviť alebo použiť ako inšpiráciu na vytvorenie nových obrázkov.

Od októbra 2023 OpenAI tiež začal zavádzať nové hlasové a obrazové funkcie do ChatGPT Plus, platené verzie nástroja. Umožňujú mať hlasový rozhovor alebo ukázať ChatGPT obrázok, takže bude vedieť, čo sa pýtate, bez toho, aby ste to museli presne popísať.

Napríklad môžete urobiť fotografiu pamiatky počas cestovania a mať živý rozhovor o tom, čo je na nej zaujímavé. Alebo urobiť fotografiu vnútra vašej chladničky, aby ste zistili, čo môžete pripraviť na večeru s dostupnými ingredienciami a požiadať o recept krok za krokom.

3 aplikácie multimodálneho AI v podnikaní

Opisovanie obrázkov môže pomôcť, napríklad, pri príprave inventúry tovaru na základe údajov z CCTV kamier alebo identifikácii chýbajúcich produktov na regáloch obchodov. Manipulácia s objektmi môže byť použitá na doplnenie chýbajúcich tovarov identifikovaných v predchádzajúcom kroku. Ale ako môžu byť multimodálne chatboty použité v podnikaní? Tu sú tri príklady:

1. Zákaznícky servis: Multimodálny chat implementovaný v online obchode môže slúžiť ako pokročilý asistent zákazníckeho servisu, ktorý nielenže odpovedá na textové otázky, ale tiež rozumie obrázkom a otázkam položeným hlasom. Napríklad, zákazník môže urobiť fotografiu poškodeného produktu a poslať ju chatbotu, ktorý pomôže identifikovať problém a ponúknuť vhodné riešenie.
2. Analýza sociálnych médií: Multimodálna umelá inteligencia môže analyzovať príspevky na sociálnych médiách, ktoré obsahujú text, obrázky a dokonca aj videá, aby pochopila, čo zákazníci hovoria o spoločnosti a jej produktoch. To môže pomôcť spoločnosti lepšie pochopiť spätnú väzbu zákazníkov a rýchlejšie reagovať na ich potreby.
3. Školenie a rozvoj: ChatGPT môže byť použitý na školenie zamestnancov. Napríklad, môže viesť interaktívne školenia, ktoré zahŕňajú text aj obrázky, aby pomohli zamestnancom lepšie pochopiť zložité koncepty.

Budúcnosť multimodálneho AI v podnikaní

Skvelým príkladom perspektívneho multimodálneho AI je optimalizácia obchodných procesov spoločnosti. Napríklad, AI systém by mohol analyzovať údaje z rôznych zdrojov, ako sú údaje o predaji, údaje o zákazníkoch a údaje zo sociálnych médií, aby identifikoval oblasti, ktoré potrebujú zlepšenie, a navrhol možné riešenia.

Ďalším príkladom je využitie multimodálneho AI na organizáciu logistiky. Kombinovanie údajov GPS, stavu skladu čítaného z kamery a údajov o dodávkach na optimalizáciu logistických procesov a zníženie nákladov na podnikanie.

Veľa z týchto funkcií sa už dnes aplikuje v komplexných systémoch, ako sú autonómne autá a inteligentné mestá. Avšak, neboli na tejto úrovni v menších obchodných kontextoch.

Zhrnutie

Multimodalita, alebo schopnosť spracovávať viacero typov údajov, ako sú text, obrázky a zvuk, podporuje hlbšie kontextuálne porozumenie a lepšiu interakciu medzi ľuďmi a AI systémami.

Otázka zostáva otvorená, aké nové kombinácie modalít by mohli existovať v blízkej budúcnosti? Napríklad, bude možné kombinovať analýzu textu s rečou tela, aby AI mohla predvídať potreby zákazníkov analýzou ich výrazov tváre a gest? Tento typ inovácií otvára nové obzory pre podnikanie, pomáhajúc splniť neustále sa meniacie očakávania zákazníkov.

Ak sa vám náš obsah páči, pridajte sa k našej komunite usilovných včiel na Facebooku, Twitteri, LinkedIn, Instagrame, YouTube, Pinterest, TikTok.