Kontextové inžinierstvo: Maximalizácia výkonu AI v softvérovom vývoji
Kontextové inžinierstvo s Dexom Horthyho: Maximalizujte výkon AI! Diskutovali o efektivite kontextových okien, automatizácii (loop engineering) a potrebe ľudskej kontroly. „Token smarter“ je kľúčový – inteligentné využitie tokenov pre spoľahlivé aplikácie.
Táto epizóda podcastu The Pragmatic Engineer sa ponorila do fascinujúceho sveta kontextového inžinierstva, s hosťom Dexom Horthyho, zakladateľom HumanLayer a tvorcom tohto termínu. Diskutovali o tom, ako efektívne využívať kontextové okno AI modelov, riešiť problémy s preťažením kontextu a budovať spoľahlivé aplikácie poháňané umelou inteligenciou. Horthyho prístup sa zameriava na inteligentné využitie tokenov („token smarter“) namiesto ich neúmerného zvyšovania („token harder“), pričom zdôrazňuje dôležitosť ľudskej kontroly a kvality kódu.
Čo je to kontextové inžinierstvo?
Kontextové inžinierstvo, ako ho definoval Horthy, spočíva v de-abstraktovaní vrstiev nad RAG (Retrieval Augmented Generation) pamäťou a agentickou históriou – jednoducho povedané, rôznymi spôsobmi prenosu tokenov do AI modelu. Ide o prístup, ktorý sa snaží maximalizovať výkon AI modelov tým, že im poskytuje relevantný kontext v správnom momente. Rozlišuje sa medzi „chytrými zónami“, kde sú kontextové okná využívané efektívne a „hlúpymi zónami“, kde menej tokenov vedie k lepším výsledkom.
