Je RAG Stále Potrebný? Výber Najlepšieho Prístupu pre LLM

V dnešnej rýchlo sa meniacej krajine umelých inteligencií je dôležité držať krok s najnovšími trendmi a technológiami. V tomto článku sa pozrieme na debatu medzi dvoma populárnymi prístupmi k práci s rozsiahlymi jazykovými modelmi (LLM): Retrieval Augmented Generation (RAG) a dlhým kontextom. Video od IBM Technology nám ponúka hlboký ponor do týchto metód, ich výhod a nevýhod, a pomáha nám pochopiť, kedy je vhodné použiť ktorý prístup.

Problém LLM: Zmrazené v Čase

LLM sú neuveriteľne výkonné nástroje, ale majú jednu zásadnú obmedzujúcu vlastnosť: sú „zmrazené v čase“. Ich znalosti sa končia dátumom ich trénovania a nemajú prístup k aktuálnym informáciám ani vašim osobným údajom. Ak chceme, aby LLM rozumel našim interným wiki stránkam, proprietárnemu kódu alebo najnovším správam, musíme vyriešiť problém „vstrekovania kontextu“. Ako dostať tie správne dáta do modelu v správny čas?

RAG: Inžiniersky Prístup

RAG je jeden z dvoch hlavných prístupov k riešeniu tohto problému. Funguje takto:

1. Chunking: Dokumenty (PDF, kódy, knihy) sú rozdelené na menšie časti („chunks“).
2. Embedding: Každý chunk je pretransformovaný pomocou „embedding modelu“ do vektora – matematickej reprezentácie dát.
3. Vektorová Databáza: Tieto vektory sú uložené vo vektorovej databáze.
4. Sémantické Vyhľadávanie: Keď používateľ položí otázku, systém vykoná „sémantické vyhľadávanie“ v databáze a nájde najrelevantnejšie chunks.
5. Kontextové Okno: Tieto vybrané chunks sú potom pridané do kontextového okna LLM spolu s otázkou používateľa.

RAG spočíva v predpoklade, že systém dokáže správne vybrať relevantné informácie z databázy. Ak sa to nepodarí („silent failure“), model nedostane potrebné dáta a odpoveď bude nepresná alebo chýbajúca.

Dlhé Kontexte: Brute Force Riešenie

Alternatívny prístup, známy ako „dlhý kontext“, je trochu brutálnejší. Vynecháva databázu a embedding model a jednoducho vloží celý dokument priamo do kontextového okna LLM. Model potom nechá svoj vlastný mechanizmus pozornosti (attention mechanism) robiť ťažkú prácu s nájdením odpovede.

Doteraz bol tento prístup obmedzený malou veľkosťou kontextových okien, ale moderné modely majú teraz kontextové okná s miliónmi tokenov (čo je približne 700 000 slov – dostatok na celú sériu Lord of the Rings!).

Prečo Použiť Dlhé Kontexte? Jednoduchosť

Ak môžeme jednoducho vložiť všetky potrebné dáta do kontextového okna, prečo sa obťažovať s RAG? Hlavný dôvod je jednoduchosť.

• Kolaps infraštruktúry: RAG vyžaduje rozsiahlu infraštruktúru: chunking stratégiu, embedding model, vektorovú databázu a reranker. Dlhé kontexty to zjednodušujú na minimum – len dáta a model.
• Vyhnutie sa „lotérii vyhľadávania“: RAG je závislý od presného vyhľadania relevantných informácií, čo nie vždy funguje. Dlhé kontexty eliminujú túto slabosť tým, že modelu poskytnú prístup ku všetkým dátam.
• „Problém celých kníh“: RAG je navrhnutý na vyhľadávanie konkrétnych úryvkov textu. Ak však odpoveď vyžaduje porovnanie dvoch rôznych dokumentov (napríklad, aké bezpečnostné požiadavky boli vynechané v konečnej verzii), RAG to nedokáže. Dlhé kontexty umožňujú modelu vidieť celý obraz.

Kedy Použiť RAG?

Aj keď dlhé kontexty ponúkajú jednoduchosť, RAG stále má svoje miesto:

• Opakovane čítané texty: Ak pracujete s dokumentmi, ktoré sa často menia, RAG je efektívnejší, pretože potrebuje spracovať dáta len raz pri indexovaní.
• „Problém sprevádzajúceho šumu“: Pri veľmi dlhých kontextoch môže mechanizmus pozornosti modelu stratiť zameranie na relevantné informácie. RAG obmedzuje množstvo dát, ktoré model musí spracovať, a tak sa vyhýba „šumu“.
• Obrovský dátový set: Ak máte rozsiahly dátový set (terabajty alebo petabajty), je nevyhnutné použiť vrstvu na filtrovanie informácií do kontextového okna.

Kľúčové Zistenia

• LLM sú „zmrazené v čase“ a potrebujú mechanizmus na získavanie aktuálnych dát.
• RAG (Retrieval Augmented Generation) je inžiniersky prístup, ktorý využíva vektorové databázy na vyhľadávanie relevantných informácií.
• Dlhé kontexty sú „brute force“ riešenie, ktoré vloží celý dokument do kontextového okna LLM.
• Dlhé kontexty ponúkajú jednoduchosť a zlepšujú schopnosť modelu robiť komplexné úsudky.
• RAG je stále relevantný pre často sa meniace dáta a na obmedzenie „šumu“ v rozsiahlych dátových setoch.

Odporúčania a Premýšľania

Výber medzi RAG a dlhým kontextom závisí od konkrétneho problému. Ak pracujete s malým, stabilným datasetom a potrebujete komplexné úsudky, dlhé kontexty sú pravdepodobne lepšia voľba. Ak máte rozsiahly, často sa meniaci dataset, RAG zostáva cenným nástrojom. Budúcnosť LLM pravdepodobne spočíva v kombinácii oboch prístupov – využívaní jednoduchosti dlhých kontextov pre základné úlohy a sofistikovanosti RAG pre zložitejšie scenáre.

Zdroje

• Originálne video
• Certifikovaný odborník IBM watsonx AI Assistant Engineer v1 – Profesionál – Školenie od spoločnosti IBM – Celosvetovo
• Čo je RAG Retrieval Augmented Generation? | IBM
• Formulár registrácie IBM

Približne 168 gCO₂ bolo uvoľnených do atmosféry a na chladenie sa spotrebovalo 0.84 l vody za účelom vygenerovania tohoto článku.