Úvod

Umělá inteligence (AI), zvláště modely typu Large Language Models (LLM), představují přelom v technologickém vývoji, který změnil, jak interagujeme s informacemi a digitálním obsahem. Tyto LLM modely jsou obvykle před-trénované na obrovských datových souborech, kde nejznámější jsou aktuálně rozsáhlé projekty firem OpenAI, Google a Anthropic postavené jako GPT (Generative Pre-training Transformer). Intenzivní před-trénování a techniky vyladění (např. Fine-tunning via PEFT, LORA a RLHF) daným LLMs umožňují generovat řadu nových artefaktů. Generované texty, obrázky, videa a mnohé další mohou být překvapivě koherentní a relevantní v závislosti na kvalitě zadání od “Prompt engineers” pokud jde o kvalifikovaného uživatele.

V rámci zmíněného workshopu jsme v rámci širšího týmu řešitelů jako více různých prompt engineers z různých firem, jež uvádíme v souhrnné agendě závěrem, představili pět následujících a oddělených témat spojených s Prompt engineeringem:

1. Principy a metody GenAI & LLMs
2. Techniky a umění Prompt Engineeringu
3. GenAI pro generování obrázků a videa
4. ML & datová analytika s využitím LLMs
5. Komplexních řešení díky ChatBotům a další SW

1. Principy a metody GenAI & LLMs

Základem LLMs je dnes nejčastěji architektura zvaná Transformer, která byla představena v roce 2017 firmou Google v jejich zásadním článku z roku 2017 s názvem "Attention Is All You Need". V tomto článku firma ukázala model Transformer, který upouští od rekurentních vrstev běžně používaných v předchozích modelech pro úlohy, jako je strojový překlad. Transformer se od té doby stal základní architekturou pro mnoho dalších vývojových kroků v oblasti zpracování přirozeného jazyka (NLP - Natural Language Processing), včetně modelů jako GPT či BERT (Bidirectional Encoder Representations from Transformers). Tato architektura dnes umožňuje modelům zpracovávat a generovat text s vysokou úrovní kontextového porozumění, díky mechanismům jako jsou self-attention a positional encoding.

Image 1: Cesta od RNN k Tranformer architektuře

2. Techniky a umění Prompt Engineeringu

Existují mnoho dobře známých prompting technik jako je nastavení Digital Persona, kontextu, delimiterů dle Markdown syntaxe a další uvedené dále v rámci vizualizace. Dnes dokonce existují speciální webová tržiště, kde se dají ty nejlepší prompty koupit. Prompting lze však v obecnější rovině přirovnat k umění komunikace mezi lidmi. Tedy musíte vědět, co chcete říct, dobře to formulovat s ohledem na partnera, tak abyste dostali výsledek, který odpovídá Vašemu specifickému úkolu.

Níže uvádíme shrnutí technik formou vizuálu a také seznam dobrých zdrojů, kde lze adoptovat nejlepší praktiky z oblasti prompt engineeringu:

• Handbook #1 Prompt Engineering (Detailed)
• Handbook #2 Prompt Engineering (OpenAI)
• Handbook #3 on Prompt Engineering (Guide)

Image 2: Prompting techniky nejsou všelék, je potřeba umět s LLMs “mluvit”

3. GenAI pro generování obrázků a videa

Všichni máme dostupné stejné nástroje pro GenAI a někdy máme na pár kliků umělecký výtvor a někdy jen zahlcujeme infosféru “trhaným videem”, co neumí artikulovat česky nebo jinými ne-anglickými jazyky.

V rámci zmíněného workshopu jsme představili následující nástroje vhodné pro generování obrázků a videa včetně jejich limitů a specifičnosti.

• Image Generator #1 Midjourney
• Image Generator #2 Dalle
• Image Generator #3 Adobe Firefly
• Video generator #A Pika
• Video generator #B Synthesia

Image 3: Obrázky může generovat každý, ale ne vždy se na to dá koukat

4. ML & datová analytika s využitím LLMs

LLMs může datovým vědcům i studentům informatiky ušetřit hodně práce při řešení dílčích kroků spojených s rutinní prací a před-zpracovaním nebo interpretací dat. Například není problém do ChatGPT vložit soubor v CSV formátu a požádat o úpravu formátování nebo inkrementálními instrukcemi provést celou ETL (Extract-Transform-Load) proceduru.

Zajímavou možností je začít datové operace pomocí LLM instrukcí zadávaných v běžném jazyce, ale pokud dospějeme do okamžiku, kdy bude efektivnější pokračovat již jako programátor v konkrétním jazyce není problém nechat si ukázat Python kód, který můžeme dále upravovat sami v Jupyter Notebooks či nějakém IDE.

Kromě možnosti využít LLM pro zpracování numerických úloh, které má své limity, naopak LLM často exceluje a překonává běžného datového výzkumníka při zpracování textových řetězců a jazyka obecně. Nejde jen o běžné úlohy identifikace sentimentu pisatelů textu, ale i o více komplexní zpracování jako je například oblast fake news. Na workshopu byl uveden příklad analýzy aktuálního případu slovenských prezidentských voleb ve 2024. ChatGPT jsme použili k odhalení vzorců manipulativního jednání i porovnání faktů z nezávislých zdrojů a zavádějících novinových příspěvků jednoho konkrétního prezidentského kandidáta. Výsledky LLM byly výrazně lepší než u jiných specifických data science tools aplikovaných na stejný úkol.

Image 4: LLM často usnadní práci s daty a exceluje při zpracování textu

5. Komplexních řešení díky ChatBotům & další SW

LLMs způsobily revoluci v možnostech chatbotů, řízení pracovních postupů i automatizace a umožnily komplexnější řešení v různých odvětvích. Chatboti využívající LLM mohou zpracovávat složité dotazy zákazníků s vysokou přesností a rychlostí odezvy podobnou lidské, což výrazně zlepšuje uživatelskou zkušenost a provozní efektivitu.

V oblasti automatizace pracovních postupů tyto modely pomáhají zefektivnit podnikové procesy tím, že inteligentně automatizují rutinní úkoly a poskytují podporu při rozhodování, čímž uvolňují lidské zdroje pro jiné činnosti. Integrace LLM s pokročilými automatizačními nástroji navíc často vede k inovativním aplikacím v konkrétních oborech jako jsou např. finance při hodnocení rizik v reálném čase, zpracování faktur nebo právní služby pro analýzu dokumentů. Tato řešení nejen zvyšují produktivitu, ale také posouvají hranice toho, čeho mohou automatizované systémy dosáhnout, a mění tak obchodní operace a interakce se zákazníky.

Většina firem dnes staví ChatBoty nad OpenAI produktem ChatGPT, který je spíše vhodný pro obecnou konverzaci nikoliv oborově specifická řešení s unikátní přidanou hodnotou a odpověďmi. Navrhnout oborové LLM řešení by totiž znamenalo dodatečné trénování LLM, specifická data, a hodně často i chain-of-models a automatizace pro vyřešení komplexní úlohy na což firmám chybí znalosti i data.

Image 5: Stavět komplexní řešení a Chatboty lze dělat buď dobře nebo rychle

Závěrem

Tento článek sepsali a obrázky vygenerovali pomocí LLMs společně autoři: Richard A. Novák a Jiří Korčák z Omnicrane jako shrnutí konference pořádané dne 10. dubna 2024 Prague Data Ethics Lab a Omnicrane. Na akci se dále podíleli příspěvky kolegové z PwC, V# Venture studia a Slezské Univerzity Opava. Názvy a pořadí příspěvků konference s přiřazení jednotlivých autorům k tématům uvádíme na obrázku níže, jenž tvořil původní pozvánku na konferenci.