Spoločnosť podvodníkov
Model sa v tréningu môže naučiť zbierať body bez toho, aby vyriešil úlohu. Človek robí to isté, keď pochopí, že systém odmeňuje skóre namiesto cieľa. Čo sa stane, keď sa to naučí celá spoločnosť?
Podvodník môže a nemusí byť zlý človek. Niekedy je iba človekom, ktorý správne pochopil pravidlá hry.
Pri trénovaní umelej inteligencie sa niekedy nastane jav, ktorý sa označuje ako reward hacking. Model dostane úlohu, za jej splnenie odmenu a postupne sa učí, ktoré správanie k nej vedie. Problém nastane vo chvíli, keď objaví jednoduchšiu cestu. Namiesto vyriešenia úlohy nájde chybu v spôsobe, akým sa výsledok kontroluje. Zariadi, aby hodnotiaci systém usúdil, že úlohu splnil.
Z pohľadu človeka podvádza. Z pohľadu tréningu splnil presne to, čo sme od neho celý čas požadovali a síce našiel účinnú cestu k odmene.
Oveľa zaujímavejšie je, keď sa nenaučí iba jeden konkrétny trik. Ak dostatočne dlho existuje v prostredí, kde sa deklarovaný cieľ rozchádza s tým, čo sa skutočne odmeňuje, môže si odniesť všeobecnejšiu lekciu. Nesleduj iba problém. Sleduj hodnotiteľa. Zisti, čo dokáže vidieť, čo nevie, kedy sa pozerá a podľa čoho rozdeľuje body. Medzi cieľom a jeho meraním býva medzera a práve tam vedie najkratšia cesta k odmene.
Netvrdím, že sa model stal zlým. Stačí, že sa stal dobrým hráčom hry, ktorú sme mu pripravili.
Tento jav mi však príde zaujímavejší ako obraz spoločnosti než ako obraz umelej inteligencie.
Spoločnosť je tiež tréningovým prostredím svojich členov. Nie v doslovnom počítačovom zmysle. Človeka nemožno zredukovať na jednu funkciu odmeny a jeho správanie nevysvetlí pár rovníc. Napriek tomu sa celý život učí z toho, čo jeho okolie skutočne odmeňuje. Peniazmi, postavením, pozornosťou, uznaním, bezpečím, kariérou, príslušnosťou ku skupine alebo jednoducho skúsenosťou, že určitý spôsob správania funguje a iný nie.
Čo spoločnosť skutočne odmeňuje
Spoločnosť môže hovoriť o pravde, odbornosti, poctivosti, službe verejnosti či dlhodobom myslení. Jej skutočný výchovný program sa lepšie číta z toho, kto postupuje nahor v spoločenskom rebríčku.
Môžeme tvrdiť, že cieľom školy je vzdelanie, cieľom firmy spokojný zákazník a cieľom médií informovaná verejnosť. V každom z týchto prípadov však potrebujeme nejakým spôsobom rozoznať, či sa k cieľu približujeme. A práve tam vzniká prvá diera medzi tým, čo chceme dosiahnuť, a tým, čo dokážeme dostatočne jednoducho zmerať.
Čím viac potom na toto meranie naviažeme peniaze, kariéru, status alebo pozornosť, tým menej je iba pozorovaním systému ale viac jeho transformátorom.
Skratka medzi správaním a odmenou
Ľudia samozrejme vždy podvádzali. Úradníci vyrábali čísla, ktoré chcela vidieť centrála, obchodníci obchádzali pravidlá, politici hovorili publiku to, čo chcelo počuť, a žiaci zisťovali, čo bude na skúške namiesto toho, čo by mali vlastne mali pochopiť. Ak sa teda v posledných desaťročiach niečo zásadne zmenilo, nebude to objav chamtivosti, manipulácie ani merania. Dejiny poznali omnoho väčšie odmeny aj tresty než dnešné lajky, bonusy či hodnotenia.
Zmenila sa však vzdialenosť medzi správaním a odmenou.
Veľká časť spoločenskej spätnej väzby bývala pomalá, nejasná a rozptýlená. Človek mohol mať dobrú povesť, ale nemal číslo, ktoré by mu každú hodinu ukazovalo jej aktuálnu hodnotu. Firma mohla vedieť, že zákazníci sú spokojní, ale nevidela každé kliknutie a každý odchod zo stránky v reálnom čase. Politik poznal nálady svojich voličov, ale každá veta nebola o pár sekúnd otestovaná na desaťtisícoch reakcií. Novinár vedel, že titulok fungoval, ale nemusel minútu po zverejnení sledovať, koľko ľudí naň kliklo.
Moderná spoločnosť túto vzdialenosť dramaticky skrátila. Čoraz väčšia časť života má svoju nástenku so skóre. Zobrazenia, sledovatelia, predaje, hodnotenia zákazníkov, počet publikácií, citácie, ceny akcií, výkonnostné ukazovatele, volebný prieskum, čas strávený v aplikácii.
Samotné čísla nie sú problém. Bez merania by veľké systémy často nevedeli fungovať. Problém vzniká vtedy, keď dokážeme náhradu za skutočný cieľ merať rýchlejšie a presnejšie než samotný cieľ.
Vzdelanie sa meria ťažko, výsledok testu ľahko. Dlhodobá dôvera zákazníka je nejasná, tento mesiac uzavretý predaj je presný. Kvalita verejnej diskusie nemá jednoduchú jednotku, počet reakcií áno. V okamihu, keď na takúto ľahko merateľnú náhradu naviažeme peniaze, kariéru, status alebo možnosť prežiť v systéme, nevytvorili sme iba spôsob hodnotenia. Vytvorili sme tréningové prostredie.
Wells Fargo a Volkswagen
Wells Fargo chcelo, aby zamestnanci predávali zákazníkom viac produktov. Viac služieb na jedného klienta malo byť znakom lepšieho vzťahu a úspešného predaja. Lenže počet účtov sa meral jednoduchšie než skutočná potreba zákazníka. Keď sa na číslo naviazali dostatočne silné ciele a tlak, časť organizácie sa naučila vyrábať samotné číslo. Vznikli milióny neoprávnených alebo sporných účtov. Banka nechcela falošné účty. Chcela úspešnejší vzťah so zákazníkom. Jej systém odmien však vysielal oveľa presnejší pokyn.
Chceme toto číslo.
Volkswagen ponúkol ešte čistejší príklad. Dieselové vozidlá dokázali rozpoznať, že práve podstupujú emisný test, a počas neho sa správali inak než pri normálnej jazde. Auto nemuselo byť environmentálne čisté. Stačilo byť čisté v okamihu, keď sa niekto pozeral.
Auto nemuselo byť environmentálne čisté. Stačilo byť čisté v okamihu, keď sa niekto pozeral.
To je takmer dokonalý obraz podvodu ako inteligentnej reakcie na hodnotenie. Skutočný cieľ znel "vypúšťaj menej škodlivín". Praktický cieľ znel "prejdi testom".
Väčšina spoločenského reward hackingu bude vyzerať úplne normálne.
Podvod, ktorý vyzerá normálne
Vedec nemusí falšovať výsledky. Stačí, ak sa postupne naučí vyberať otázky podľa toho, čo sa dá publikovať. Novinár nemusí klamať. Stačí, ak sa jeho cit pre dobrý titulok desať rokov formuje pohľadom na návštevnosť. Manažér nemusí manipulovať čísla. Stačí, ak začne úprimne vnímať firmu cez ukazovatele, podľa ktorých sa rozhoduje o jeho kariére.
V určitom bode už človek nemá pocit, že systém obchádza. Systém sa stal jeho spôsobom videnia sveta.
V texte Neurochémia moci som sa na spoločnosť pozeral ako na organizmus, ktorým tečú rôzne regulačné signály.
Igor Šovčík
Tam som spoločnosť opisoval ako organizmus, ktorým tečú regulačné signály. Peniaze sú iba jeden z nich.
Peniaze sú iba jedným z nich. Podobne funguje pozornosť, dôvera, strach, status či príslušnosť. Otázka reward hackingu k tomu pridáva ďalší problém: Čo sa stane, keď jeden z týchto signálov prestaneme používať ako informáciu o stave systému a začneme ho používať ako cieľ?
Pozornosť je v tomto zmysle takmer dokonalá odmena. Je okamžitá, dobre merateľná a je jej prakticky neobmedzené množstvo. Platforma nemusí vedieť, či človek po prečítaní textu niečomu lepšie rozumie, či sa dozvedel pravdu alebo či jeho rozhodnutia budú o týždeň rozumnejšie. Stačí vedieť, či zostal. Či klikol. Či reagoval. Či sa vrátil.
V mojom staršom texte som sa k rovnakému problému dostal z druhej strany.
Igor Šovčík
Tu som ukazoval, ako sa z reakcie stáva znak hodnoty a prečo konflikt vyhráva distribučnú hru.
Konflikt funguje, pretože vyvoláva reakciu. Ak distribučný systém používa reakciu ako znak hodnoty, nemusí mať úmysel spoločnosť polarizovať. Nemusí mať politický názor ani predstavu o svete. Stačí, že konfliktný obsah dostáva viac bodov.
Pozornosť pritom nie je zlá. Problém je v tom, že z nej robíme konečný cieľ.
Pozornosť je senzor. Informácia o tom, čo ľudí zaujíma, čo ich prekvapilo alebo čo vnímajú ako dôležité. Z faktu, že niečo dokáže pozornosť získať, však nevyplýva, že by sme toho mali vyrábať čo najviac. Srdcový tep je tiež užitočný signál o stave človeka. Ak by sme zdravie definovali ako maximalizáciu tepu, rozdiel medzi ukazovateľom a cieľom by sme pochopili veľmi rýchlo.
Skóre mení podmienky ďalšej hry
Moderná spoločnosť má navyše zvláštnu vlastnosť: skóre nielen hodnotí, ale mení podmienky ďalšej hry.
Prípad Aviho Loeba (astrofyzika známeho aj hypotézami o mimozemskom pôvode niektorých medzihviezdnych objektov) je zaujímavý tým, čo ukazuje všeobecne. Zvonku nevieme povedať, prečo Harvard robí konkrétne personálne rozhodnutia. Reputácia sa však každý deň nevynuluje. Človek, ktorý počas desaťročí nazbiera publikácie, funkcie, kontakty, meno a mediálnu známosť, vstupuje do ďalšieho sporu s úplne inými možnosťami než začínajúci vedec. Predchádzajúci úspech sa zmenil na kapitál a kapitál otvára priestor na ďalší experiment.
Tesla ukazuje podobnú slučku v ekonomike. Vysoká trhová hodnota firmy nie je iba názorom na jej budúcnosť. Môže jej pomôcť túto budúcnosť vytvoriť. Uľahčuje získavanie kapitálu, priťahuje ľudí, pozornosť a dodáva čas potrebný na ďalší rast. Hodnotenie reality sa stáva jednou zo síl, ktoré realitu menia.
Úspech prináša podmienky pre ďalší úspech. Viditeľnosť prináša viditeľnosť. Citácie ďalšie citácie. Publikum uľahčuje budovanie ešte väčšieho publika. Skóre sa tak stáva súčasťou hernej pozície.
Ak toto spojíme s rýchlosťou modernej spätnej väzby, vzniká veľmi silné tréningové prostredie. Odmena nemusí byť väčšia než kedysi. Stačí, že prichádza častejšie, je lepšie čitateľná a predchádzajúce víťazstvo znižuje cenu toho ďalšieho.
Civilizácia možno ani tak nezvýšila veľkosť odmien, ako zvýšila rýchlosť učenia sa odmenám prispôsobovať.
A to mení pravidlá toho čo sa oplatí robiť s inteligenciou.
V prostredí, kde spätná väzba prichádza pomaly a pravidlá sú nejasné, je výhodné dobre rozumieť svetu. V prostredí s neustálym hodnotením začína byť čoraz výhodnejšie dobre rozumieť hodnotiteľovi. Študent sa nepýta iba, čo má pochopiť, ale čo bude na skúške. Firma sa nepýta iba, čo zákazník potrebuje, ale čo zvýši meranú spokojnosť. Politik nemyslí iba na dôsledok rozhodnutia, ale aj na jeho zajtrajšiu odozvu. Autor nepremýšľa iba nad tým, čo chce povedať, ale nad tým, čo sa bude šíriť.
Je to inteligentná reakcia na prostredie.
Nie každý však reaguje rovnako. Niektorí vedci si vyberajú otázky, ktoré pravdepodobne neprinesú rýchly výsledok. Niektoré firmy odmietajú krátkodobý výnos, ktorý by poškodil produkt. Niektorí novinári píšu texty, o ktorých vedia, že nebudú najčítanejšie. Človek si časť cieľov nesie so sebou. Má normy, identitu, profesionálnu česť, vzťahy a predstavu o tom, čím nechce byť. Reward hacking je preto tlak. Jeho sila závisí od toho, aké ďalšie sily mu stoja v ceste.
Inštitúcia, ktorá má jedno dominantné číslo a celý status človeka naň priamo naviaže, vytvára jednoduchšiu hru než inštitúcia, kde sa stretáva viac spôsobov hodnotenia, viac časových horizontov a ľudia majú dostatočnú autonómiu povedať, že dobré číslo tentoraz nie je dobrý výsledok.
Tu sa otázka moci vracia. Ak niekto rozhodne, že jediné číslo je najdôležitejšie, nemusí prikazovať ostatným, ako majú konať. Stačí, že kontroluje podmienky prežitia v systéme. Ľudia sa prispôsobia sami.
Najsilnejšia moc teda nemusí hovoriť, čo máš robiť. Stačí, že určí skóre.
Rovnaký hodnotiteľ, rovnaké výsledky
Ak sa dostatočne veľká časť spoločnosti učí z podobných signálov, výsledkom by mala byť aj zvláštna podobnosť. V texte Keď rôzne myšlienky začnú končiť v rovnakých vetách som písal o tom, ako spoločné nástroje môžu ovplyvňovať nielen spôsob formulácie myšlienok, ale aj priestor, v ktorom vznikajú.
Igor Šovčík
Tam som opísal, ako spoločné nástroje zužujú priestor, v ktorom myšlienky vznikajú.
Rovnaký mechanizmus môže fungovať ešte o vrstvu nižšie.
Na vytvorenie podobnosti nepotrebujeme centrálnu autoritu, ak máme spoločného hodnotiteľa.
Tisíce autorov môžu slobodne skúšať nadpisy a skončiť pri podobných. Firmy môžu nezávisle skúšať marketing a objaviť tie isté techniky. Politici môžu zastávať úplne odlišné názory a napriek tomu sa ich spôsob komunikácie začne podobať. Sloboda jednotlivých pokusov nemusí viesť k rozmanitosti výsledkov, ak všetky pokusy prechádzajú rovnakým sitom.
Cisárove nové šaty
Možno práve preto môže dnešná politika a verejný život miestami pripomínať príbeh o cisárových nových šatách. Na tej rozprávke nie je najzaujímavejšie, že dav nevidí nahého cisára. Všetci ho vidia. Problém je, že všetci zároveň chápu pravidlá situácie.
Dospelí v príbehu vedia, čo sa od nich očakáva. Vedia, ktorá odpoveď je bezpečná, ktorá ich zaradí medzi rozumných a ktorá ich môže vystaviť posmechu. Preto opakujú niečo, čomu možno sami celkom neveria. Nie preto, že by boli hlúpi. Práve naopak. Správne pochopili program bodovania.
Dieťa ho ešte nepozná.
Nevie, že správna odpoveď nie je tá, ktorú vidí, ale tá, ktorú situácia odmeňuje. Preto povie jednoduchú vetu: "cisár je nahý".
To je možno presnejší obraz problému než predstava spoločnosti, ktorú niekto zvonka oklamal. Mnohé jej rozpory môžu byť všetkým zúčastneným celkom dobre viditeľné. Ľudia pracujúci v inštitúciách často poznajú ich slabiny lepšie než ich kritici. Manažér vie, že číslo v reporte nevystihuje celý stav firmy. Novinár vie, že najčítanejšia téma nemusí byť najdôležitejšia. Politik vie, že krátkodobá reakcia verejnosti nemusí hovoriť nič o dlhodobom výsledku. Vedec vie, že počet publikácií nie je totožný s poznaním.
Napriek tomu môže byť úplne racionálne správať sa tak, akoby tieto rozdiely neexistovali. Kariéra, reputácia, peniaze a prístup k ďalšiemu kolu hry sú totiž naviazané na to, čo systém dokáže rozpoznať a odmeniť, nie na všetko, čo jeho účastníci vedia.
Vzniká tým zvláštny druh spoločného predstierania. Je to situácia, v ktorej veľká časť ľudí vidí rozdiel medzi cieľom a jeho meraním, ale zároveň chápe, že úspech závisí od rešpektovania merania. Čím dlhšie v systéme žijú, tým prirodzenejšie sa jeho pravidlá stávajú súčasťou ich vlastného myslenia.
A práve preto musí v rozprávke prehovoriť dieťa.
To môže byť aj jedna z príčin, prečo spoločenské otrasy často prichádzajú od ľudí alebo skupín, ktoré stoja čiastočne mimo zaužívaného spôsobu hodnotenia. Ich výhodou nebýva väčšia múdrosť a často ani lepšie riešenie. Niekedy iba nemajú rovnaký dôvod zachovávať spoločnú fikciu. Môžu pomenovať rozpor, ktorý ostatní dávno vidia, ale naučili sa ho považovať za cenu účasti v systéme.
Takýto narušiteľ samozrejme nemusí mať pravdu vo všetkom, čo nasleduje po vete "cisár je nahý". Rozpoznanie chybnej metriky ešte nedáva správnu odpoveď na otázku, čo má prísť namiesto nej. Dieťa v rozprávke síce vie, že cisár nemá šaty, nevie však ako riadiť kráľovstvo.
Rozdiel je ale v tom, že porušilo prvé pravidlo hry: odmietlo hodnotiť realitu podľa toho, čo bolo spoločensky odmeňované povedať.
A ak je spoločnosť skutočne tréningovým prostredím, práve takéto momenty sú dôležité. Ukazujú chvíľu, keď už chyba nie je skrytá. Všetci ju môžu vidieť. Systém však ešte stále odmeňuje správanie, akoby neexistovala.
Vtedy už problémom nie je nedostatok informácií ale program bodovania.
Prečo lepšie číslo nestačí
Tým sa dostávame k oveľa ťažšej otázke: dá sa program nastaviť lepšie?
Najjednoduchšou odpoveďou by bolo nájsť lepšie číslo. Namiesto kliknutí merať spokojnosť. Namiesto počtu publikácií kvalitu. Namiesto krátkodobého zisku dlhodobú hodnotu. Lenže tým sme problém neposunuli veľmi ďaleko. Ak sa nové číslo stane dostatočne dôležitým, schopný systém sa časom naučí optimalizovať aj ono.
Možno je chybná už predstava, že existuje jedna správna veličina, ktorú treba maximalizovať.
V texte Posledná priemyselná revolúcia som písal o spoločnosti ako o systéme, ktorý potrebuje skôr homeostázu než ďalšiu slepú akceleráciu.
Igor Šovčík
Tam som argumentoval, že civilizácia potrebuje homeostázu namiesto ďalšej slepej akcelerácie. Otázka odmien je jej praktická časť.
Živý organizmus nemaximalizuje teplotu, tep, hladinu cukru ani množstvo kyslíka. Každá z týchto veličín môže byť životne dôležitá a zároveň smrteľná, ak ju maximalizujeme bez ohľadu na ostatné.
Zdravý stav vzniká udržiavaním viacerých hodnôt v rozsahu, ktorý umožňuje systému ďalej fungovať a reagovať.
To je pravdepodobne lepšia predstava aj pre spoločnosť.
Pozornosť potrebujeme, ale nemôže byť jediným cieľom médií. Firma potrebuje zisk, ale ak ho získa ničením dôvery zákazníkov, spotrebúva podmienku svojho budúceho zisku. Veda potrebuje merateľný výkon, ale musí mať priestor aj pre prácu, ktorej hodnotu dnes nevieme vyhodnotiť. Škola potrebuje vedieť, či sa žiaci niečo naučili, ale v momente, keď výsledok testu úplne nahradí vzdelanie, začne produkovať ľudí pripravených len na test.
Dobre navrhnutý systém odmien stojí na viacerých nedokonalých metrikách, ktoré sa navzájom korigujú. Rôzne časové horizonty. Miesta, kde rozhoduje číslo, aj miesta, kde je potrebný úsudok. A najmä možnosť povedať, že ukazovateľ prestal reprezentovať to, na čo bol vytvorený.
Možno dokonca potrebujeme v niektorých miestach zámerne vyššie trenie. Nie každá spätná väzba musí byť okamžitá. Nie každé číslo musí byť verejné a nie každý signál musí byť priamo naviazaný na peniaze či postavenie. Čím presnejšie ľudia poznajú mechanizmus hodnotenia, tým ľahšie sa môžu začať prispôsobovať samotnému mechanizmu namiesto jeho účelu.
Takýto systém bude menej elegantný a horšie optimalizovateľný.
To môže byť jeho výhoda.
Zostáva však problém, ktorý žiadna lepšia metrika nevyrieši. Kto vyberá ciele?
Dáta nám dokážu povedať, ako účinne smerujeme k zvolenému cieľu. Nedokážu rozhodnúť, ktorý cieľ je hodný sledovania.
Ciele si volíme.
Kto prepíše pravidlá
Tým sa slučka uzatvára ešte nepríjemnejším spôsobom. Ciele totiž zvyčajne nedefinujú náhodní ľudia. Najväčší vplyv na ne majú tí, ktorí v predchádzajúcej verzii systému uspeli.
Človek, ktorý sa dostane nahor vďaka schopnosti mimoriadne dobre čítať existujúce odmeny, neskôr získa možnosť rozhodovať o odmenách pre ostatných. A práve on má možno najväčší dôvod neveriť tomu, že ďalší hráči budú pravidlá chápať naivne. Vie, ako sa sám dostal hore. Vie, kde boli medzery. Vie, ktoré pravidlá bolo možné obísť a ktoré signály bolo možné premeniť na moc.
Ak celý život vyhrával tým, že hľadal skutočnú hru ukrytú za deklarovanou hrou, je nepravdepodobné, že po víťazstve prestane svet týmto spôsobom vidieť.
Víťaz môže mať racionálny dôvod pravidlá zmeniť. Ak vie, že existujú ďalší ľudia podobní jemu, zvýši vstupné bariéry, zavedie nové podmienky a presunie hodnotenie na veličiny, v ktorých už má náskok. To, čo bolo pre neho otvorenou cestou nahor, sa po jeho príchode môže stať rizikom.
Prvá generácia hackuje skóre.
Druhá môže začať hackovať samotné pravidlá prideľovania skóre.
Tak vzniká systém, v ktorom sa výhoda nielen kumuluje, ale postupne sa chráni pred ľuďmi, ktorí by dokázali zopakovať cestu pôvodných víťazov. Človek, ktorý sa dostal nahor ako narušiteľ starého poriadku, môže po čase začať hovoriť jazykom stability, odbornosti, bezpečnosti a zodpovednosti. Nemusí pritom vedome klamať. Z jeho novej pozície môže ďalší narušiteľ skutočne vyzerať ako hrozba.
Jeho svet sa zmenil.
A s ním aj cieľ.
Funkcia odmeny je mechanizmus, ktorého víťazi postupne získavajú právo prepísať ho.
Lepší hráči
Ak je predstava spoločnosti ako tréningového prostredia správna, nasledujúce desaťročia môžu priniesť čoraz hladšie fungujúci systém, ktorého interné ukazovatele sa budú zlepšovať, zatiaľ čo sa bude znižovať jeho priepustnosť pre ľudí a riešenia, ktoré nezapadajú do spôsobu hodnotenia vytvoreného predchádzajúcimi víťazmi.
A práve tým sa dá táto predstava vyvrátiť.
Ak rýchlejšie, presnejšie a viditeľnejšie hodnotenie nevedie k väčšej orientácii na hodnotenie, analógia je chybná. Ak ľudia v prostrediach s hustým meraním nezačnú venovať viac energie tomu, čo systém dokáže vidieť, než tomu, čo vidí zle, mýlime sa. Ak inštitúcie s viacerými nezávislými cieľmi, väčšou autonómiou a pomalšou spätnou väzbou neodolávajú tomuto tlaku lepšie než systémy s jedným dominantným skóre, potom sme si z umelej inteligencie požičali iba peknú metaforu. A ak úspešní aktéri po získaní kontroly nad pravidlami nezvyšujú bariéry práve na miestach, ktoré kedysi sami dokázali využiť, neplatí ani posledná časť tejto úvahy.
Ak to však pozorujeme, problém súčasnosti možno je v tom, že sme sa stali lepšími hráčmi.
A čoraz väčšia časť spoločnosti zistila to isté, čo model pri reward hackingu: deklarovaný cieľ je pekný, ale rozhodujúce je zistiť, za čo sa v skutočnosti prideľujú body.
Spoločnosť potom nemusí podvodníkov vychovávať zámerne.
Najskôr ich odmení za to, že správne pochopili jej pravidlá.
A keď vyhrajú, dovolí im tie pravidlá prepísať.
Komentáre ()