Padesát stránek auditu, 62 milionů dolarů a nula pacientů. Tak vypadal v roce 2017 účet za systém, který měl v onkologickém centru MD Anderson v Houstonu pomáhat lékařům rozhodovat o léčbě rakoviny.1
Ne že by léčil špatně. Neléčil vůbec. Ani jednoho člověka.1
Tenhle konec je známý. Zajímavější je cesta k němu, protože se dá projít pozpátku a v každém bodě se dá zeptat, kdo tehdy co viděl.
O rok dřív, tedy v době, kdy už bylo utraceno přes šedesát milionů, seděl systém na testovacím prostředí a nemohl se dostat k živým datům. Pilotní provoz běžel na starém nemocničním informačním systému a nemocnice mezitím přešla na nový. Bez živých dat se nedal klinicky použít.12
Krok zpět. Ještě dřív se rozsah projektu několikrát změnil, z jednoho typu leukemie na jiný a pak na rakovinu plic. Piloty v partnerských nemocnicích, na kterých stál celý obchodní smysl toho projektu, se nikdy nerozjely.2
Krok zpět. Smlouva se prodloužila dvanáctkrát. Přidávaly se nemoci, funkce a poradci. Dodavatel technologie si nakonec odnesl 39,2 milionu dolarů, poradenská firma dalších 23 milionů.1
Krok zpět, a tady je to místo, kde se to rozhodlo. Audit Texaské univerzity zjistil, že se obcházely standardní postupy zadávání zakázek a že smlouvy byly nastavené těsně pod prahem, od kterého by je musel schválit správní orgán.2
Za 62 milionů dolarů nevzniklo klinické rozhodování. Vzniklo demo.
Na začátku, v červnu 2012, to byla zakázka na šest měsíců a 2,4 milionu dolarů.1 Ambiciózní a myšlená vážně. Cílem bylo dostat úroveň rozhodování špičkového centra i k lékařům, kteří k němu nemají přístup.
Každý jednotlivý krok mezi tím podpisem a tím auditem dával v tu chvíli smysl. Rozšířit rozsah, prodloužit smlouvu, přizvat poradce, rozdělit zakázku. Žádný z nich není chyba, kterou by šlo ukázat prstem.
A teď to, co se v té zprávě přehlédlo. Auditoři výslovně napsali, že jejich závěry nejsou hodnocením vědeckého základu ani funkčních schopností toho systému.2 Padesát stránek popisuje, jak se utratilo 62 milionů, a ani jednou netvrdí, že by software nefungoval.
Nefungovalo všechno kolem něj.
Pokračování článku
Zbytek textu otevřete e-mailem.
Zadejte adresu a článek bude hned celý. Posíláme i další poznatky o tom, jak se mění fungování organizací a co to znamená pro práci, rozhodování a výsledky.
Nástroj zesiluje to, co tam je
Většina organizací přistupuje k umělé inteligenci jako k léku. Najde bolest, předepíše technologii a čeká úlevu. Proces zůstane, lidé zůstanou, jen výstup má být rychlejší a levnější.
Ten předpoklad je špatně a je špatně předvídatelně. Nástroj nezrychlí dobrý proces. Zesílí jakýkoli proces, který mu podstrčíte. Když je v něm jasně rozdělená pravomoc, definované pojmy a vymezená místa, kde rozhoduje člověk, zesílí přesně to. Když je v něm vrstva zvyku, nejasná odpovědnost a kroky, které nikdo neumí zdůvodnit jinak než tradicí, zesílí i to.
Hammer a Champy tenhle vzorec pojmenovali třicet let před současnou vlnou.3 Organizace, které automatizovaly špatné procesy, automatizovaly svou vlastní neefektivitu. Technologie se od té doby změnila, mechanismus ne.
Tým nestíhá málokdy proto, že pracuje pomalu. Nestíhá proto, že mu chodí požadavky bez priority a bez kontextu, takže všechno vypadá stejně naléhavě. Reporty nejsou nepřesné kvůli ručnímu sběru dat, ale proto, že různé části organizace měří totéž různě. Rozhodnutí netrvají dlouho kvůli pomalé schvalovací platformě, ale proto, že nikdo přesně neví, kdo má k čemu pravomoc a kdy je rozhodnutí hotové.
Mayer a kolegové ukazují totéž z opačné strany.4 Rozdíl mezi organizacemi, které z AI něco mají, a těmi, které z ní nemají nic, není v technologii ani v rozpočtu. Je v tom, jestli si předem ujasnily, co vlastně opravují a kde v tom rozhoduje člověk.
Zbývá otázka, proč se to dělá pořád dokola. Odpověď nemá nic společného s inteligencí vedení. Technologie je odpověď, která se dá koupit. Má cenu, dodavatele, termín a dá se vykázat do reportu. Diagnóza procesu se koupit nedá. Trvá týdny, nemá jasný výstup a skončí zjištěním, že problém je v tom, jak je organizace nastavená. Tedy v tom, jak ji nastavil někdo, kdo o tom nákupu rozhoduje.
Jedna z těch dvou cest má cenovku. Druhá má cenu, kterou zaplatí ten, kdo se ptá.
Vedoucí, který řekne, že nejdřív potřebuje pochopit, co přesně opravuje, riskuje, že bude vypadat nerozhodně. Nerozhodnost a přesnost jsou ale dvě různé věci. Nerozhodný odkládá, protože se bojí chyby. Přesný zpomalí, protože ví, že rychlé rozhodnutí bez porozumění situaci není rozhodnutí, ale sázka.
Menší organizace si přitom nemůže dovolit jednat jinak než velká. Má míň rezerv na opravu chyby, která vznikne nasazením technologie do rozbitého procesu, a míň lidí, kteří dokážou absorbovat zmatek, když nástroj problém zesílí místo aby ho vyřešil.
Banka, která se přestěhovala za jeden víkend
Druhý řetěz vede k horšímu konci a dá se projít stejným směrem, tedy odzadu.
V roce 2022 uložil regulátor britské bance TSB pokutu 48,65 milionu liber. Ne za technickou chybu. Za selhání v řízení rizik a ve správě programu.5
Krok zpět. Do běžného provozu se banka vrátila až v prosinci 2018, osm měsíců po migraci. Vyplatila přes 32 milionů liber odškodnění, najala 2 100 lidí navíc, aby to uklidili, a generální ředitel skončil.56
Krok zpět. V dubnu 2018 přestěhovala banka všech pět milionů zákazníků na novou platformu. Data se přenesla úspěšně. Platforma spadla okamžitě po spuštění a zákazníci se týdny nedostali ke svým účtům, v pobočkách, po telefonu ani v aplikaci.5
Krok zpět, a tady je to místo, kde se to rozhodlo. Představenstvu bylo řečeno, že do ostrého provozu půjde 800 vad. Skutečný počet živých vad byl 3 317. Dalších 2 047 nebylo hlášeno vůbec. To číslo 800 vzniklo tak, že se počítaly položky funkcionality, ne jednotlivé chyby uvnitř nich.6
Krok zpět. Výkonnostní testy se dělaly na jednom datovém centru, přestože ostrý provoz běžel na dvou. Když platforma nesplnila původní cílové hodnoty, cílové hodnoty se v průběhu testování snížily. Do souhrnu pro představenstvo se ta změna nedostala.6
Nikdo nelhal ve smyslu, který by se dal postavit před soud. Vady se počítaly způsobem, který dával lepší číslo. Cíle se posunuly tam, kde se dalo splnit. Testovalo se v prostředí jednodušším než skutečné. Každá z těch věcí zvlášť je drobnost. Dohromady je to proces, který si vyrábí souhlas.
Diagnostika vždy předchází léčbě.
Technologie pak udělala přesně to, co uměla. Provedla rozhodnutí, které padlo v rozbitém procesu, a provedla ho na pěti milionech zákazníků najednou, přes jeden víkend. Kdyby ten samý stav trval při ručním provozu, projevil by se pomalu, po částech a někdo by ho zachytil.
Selhala technologie, nebo vy
Obě cesty vedou na stejné místo. Onkologické centrum si koupilo demo, protože jeho proces zadávání a řízení projektů byl rozbitý. Banka si koupila pokutu, odškodné a konec ředitele, protože její proces rozhodování o připravenosti byl rozbitý. V obou případech technologie nic nepokazila. Zesílila to, co tam bylo.
Většina organizací přečte takový výsledek jako selhání technologie. Poptá jiného dodavatele, jiný model, jiný jazyk. Změní nástroj a nechá proces, do kterého ho pouští, přesně takový, jaký byl. A protože nástroj zesiluje to, co tam je, dostane ten samý výsledek, jen s novou fakturou.
Výměna dodavatele má jednu vlastnost, která ji dělá téměř neodolatelnou. Dá se vykázat. Vypadá jako rozhodná akce a zabere pár týdnů. Diagnóza procesu se vykázat nedá a skončí zjištěním, které je nepříjemné pro toho, kdo o ní rozhodl.
Otázka před nasazením proto nezní, který nástroj vybrat. Zní, co přesně opravujeme a kde v tomto procesu rozhoduje člověk. Není to otázka pro dodavatele ani pro oddělení informatiky. Je pro toho, kdo nese výsledek toho procesu, protože jenom on smí říct, kde se v něm rozhoduje a kde je jen razítko.
Ve chvíli, kdy si ji nepoložíte, koupíte si zrychlení. Zrychlení se netýká jen toho, co funguje. Zvyšuje i rychlost, jakou se chyba rozšíří dřív, než ji kdokoli stihne zachytit.
V červnu 2012 to bylo šest měsíců a 2,4 milionu dolarů.
Zdroje
- Journal of the National Cancer Institute (2017). M. D. Anderson Breaks With IBM Watson, Raising Questions About Artificial Intelligence in Oncology. JNCI 109(5), djx113. https://doi.org/10.1093/jnci/djx113
- Herper, M. (2017). MD Anderson Benches IBM Watson In Setback For Artificial Intelligence In Medicine. Forbes (shrnutí auditní zprávy University of Texas System Audit Office, listopad 2016). https://www.forbes.com/sites/matthewherper/2017/02/19/md-anderson-benches-ibm-watson-in-setback-for-artificial-intelligence-in-medicine/
- Hammer, M., & Champy, J. (1993). Reengineering the Corporation: A Manifesto for Business Revolution. HarperBusiness. ISBN 978-0066621128
- Mayer, H., Smaje, K., & Varma, S. (2025). Superagency in the Workplace: Empowering People to Unlock AI’s Full Potential. McKinsey & Company. https://www.mckinsey.com/capabilities/people-and-organizational-performance/our-insights/superagency
- Financial Conduct Authority (2022). TSB fined £48.65m for operational resilience failings. https://www.fca.org.uk/news/press-releases/tsb-fined-48m-operational-resilience-failings
- Slaughter and May (2019). Independent Review of TSB’s 2018 IT Migration. Zveřejněno představenstvem TSB. https://www.tsb.co.uk/news-releases/slaughter-and-may.html
