Ako je postavený Amazon S3: Pohľad do zákulisia

Amazon S3, alebo Simple Storage Service, je jedným z najväčších distribuovaných systémov na svete. Slúži ako základ pre množstvo aplikácií a služieb, ktoré denne používame. V tomto článku sa pozrieme na to, ako funguje tento gigantický systém, aké výzvy prináša jeho rozsiahla škála, a ako ho Amazon inžinieri riešia. Rozoberieme si architektúru S3, prístupy k zabezpečeniu dostupnosti a odolnosti dát, a tiež sa zameriame na nové funkcie, ktoré tento systém ponúka.

Kľúčové poznatky

• Obrovská škála: S3 ukladá viac ako 500 biliónov objektov, stovky exabajtov dát a spracováva milióny transakcií za sekundu.
• Pôvodný dizajn a eventual consistency: Pôvodne bol systém navrhnutý s prihliadnutím na eventual consistency pre maximalizáciu dostupnosti a rýchlosť zápisu.
• Evolúcia S3: Od jednoduchého ukladania neštrukturovaných dát sa S3 vyvinul do platformy, ktorá podporuje data lake, SQL dotazy (S3 Tables) a vektorové vyhľadávania (S3 Vectors).
• Inžinierske princípy: Amazon inžinieri kladú dôraz na optimalizáciu v každom kroku – od hardvéru až po dátové centrá – s cieľom dosiahnuť čo najlepšiu cenu a prispôsobiť sa meniacim sa potrebám zákazníkov.
• Formálne metódy: Pre overenie správnosti systému sú používané formálne metódy, ktoré zaručujú spoľahlivosť a konzistenciu dát.

Architektúra S3: Od začiatku po súčasnosť

S3 vznikol v roku 2005/2006 ako riešenie pre interné potreby Amazonu – poskytnúť jednoduchý a lacný spôsob ukladania neštrukturovaných dát, ako sú PDF dokumenty, obrázky a zálohy. Pôvodne bol navrhnutý s prihliadnutím na eventual consistency, čo umožnilo rýchlejšie zápisy, ale za cenu toho, že nové dáta nemusia byť okamžite viditeľné pre všetkých používateľov.

S postupom času sa S3 stal kľúčovou súčasťou ekosystému AWS a začal sa používať na rôzne účely, vrátane budovania data lake s nástrojmi ako Hadoop. Neskôr príchod formátu Parquet v rokoch 2015-2020 výrazne rozšíril možnosti S3 pre analýzu dát.

Nové funkcie a smerovanie S3

V súčasnosti S3 ponúka rozsiahlejšie možnosti, než len jednoduché ukladanie dát. Zavedenie S3 Tables umožňuje priame dotazovanie na tabuľkové dáta pomocou SQL, čo zjednodušuje prácu s dátami a môže sa stať univerzálnym jazykom pre rôzne aplikácie.

S3 Vectors predstavujú ďalší krok vpred – umožňujú ukladanie a vyhľadávanie vektorových reprezentácií dát (embeddings), ktoré sú kľúčové pre AI-poháňané aplikácie, ako je sémantické porozumenie a vyhľadávanie. Tento nový typ dátovej štruktúry umožňuje rýchle vyhľadávanie najbližších susedov vo vektorovom priestore.

Zabezpečenie dostupnosti a odolnosti dát

Dostupnosť a odolnosť sú kľúčové priority pri návrhu S3. Systém je navrhnutý tak, aby zvládal rôzne typy zlyhaní, vrátane korelovaných zlyhaní (napríklad viaceré uzly padnú súčasne). Dáta sú replikované do rôznych dostupnostných zón, čím sa zabezpečí, že aj v prípade výpadku časti infraštruktúry zostanú dáta prístupné.

Formálne metódy a overovanie správnosti

Amazon inžinieri využívajú formálne metódy na overenie správnosti rôznych operácií S3, ako je konzistencia, replikácia medzi regiónmi a spracovanie API požiadaviek. Tieto metódy zaručujú, že systém funguje podľa očakávaní a minimalizujú riziko chýb.

Inžinierske princípy: Optimalizácia a neustála snaha o zlepšenie

S3 je postavený na princípe optimalizácie v každom smere. Inžinieri sa snažia maximalizovať efektivitu systému od hardvéru až po dátové centrá. Zároveň kladú dôraz na neustále učenie a prispôsobovanie sa meniacim sa potrebám zákazníkov.

Zhrnutie a odporúčania

Amazon S3 je komplexný systém, ktorý predstavuje fascinujúci príklad inžinierskeho umenia pri riešení problémov škálovateľnosti, dostupnosti a odolnosti dát. Jeho neustále vyvíjajúce sa funkcie a prístupy k optimalizácii ho robia kľúčovou súčasťou moderného cloudového ekosystému.

Pre tých, ktorí sa zaujímajú o hlbšie ponorenie do témy, odporúčame preštudovať odkazy na vedecké práce a články, ktoré uviedla Mai-Lan Tomsen Bukovec v rozhovore. Získate tak lepšie pochopenie technických detailov a inžinierskeho myslenia za S3.

Zdroje

• Originálne video
• Pohybuj sa rýchlo, meraj všetko.
• Kvalita kódu AI: Zrýchlite pomocou AI, overujte s Sonar.
• WorkOS — Vaša aplikácia, pripravená pre podnikanie.
• Vnútri kultúry technického zabezpečenia spoločnosti Amazon
• Ako AWS rieši rozsiahly výpadok
• Deň z života vedúceho pracovníka na pozícii senior manažéra v Amazone
• Čo je to Hlavný inžinier v Amazone? S Steveom Huynh-om
• Dave Anderson
• Použitie ľahkých formálnych metód na validáciu uzla pre ukladanie kľúčových hodnôt v službe Amazon S3
• Formálne overená autorizácia vo veľkom rozsahu cloudu
• Analýza metastabilných porúch
• Zásady hlavnej komunitného inžinierstva
• linkedin.com
• Praktický inžinier | Gergely Orosz | Substack
• Konzultačné služby pseudonymov

Približne 228 gCO₂ bolo uvoľnených do atmosféry a na chladenie sa spotrebovalo 1.14 l vody za účelom vygenerovania tohoto článku.