AI se v předvídání budoucnosti zlepšuje, ale prognostici jsou zatím napřed
foto: Pixabay/Ilustrační foto
Prognostická platforma Metaculus zveřejnila výsledky soutěže AI Benchmark, kde desítky modelů AI soutěžily s týmem zkušených prognostiků. Lidé dosáhli v průměru o 30 procent lepší skóre.
Soutěž AI Benchmark probíhala nad sadou asi sto přesných, ověřitelných otázek, například:
Navštíví americký prezident Trump Čínu v prvním čtvrtletí 2025?
Zahájí Argentina impeachment prezidenta Javiera Mileiho do 1. dubna 2025?
Odvolá v prvním čtvrtletí 2025 Velká Británie svého velvyslance z Ruska?
Organizátoři zajistili, aby se AI modely nedostaly k výsledkům předpovědí prognostiků a výsledky vyhodnotili až na základě toho, jak všechny předměty prognostického dotazu ve skutečnosti dopadly.
Ukázalo se, že předpovědi modelů umělé inteligence zaostaly za lidmi. Prognostici měli v souhrnu vyšší přesnost a lepší kalibraci než všechny testované modely, včetně těch založených na nejnovějších verzích GPT a Claude.
Součástí odpovědi je pravděpodobnost
AI modely i lidské týmy totiž v této soutěži předkládají své odhady nejen ve formě Ano/Ne, ale uvádějí také míru jistoty, že daná událost nastane. Při vyhodnocování se pak používá takzvané Brierovo skóre, které odměňuje nejen správný výsledek, ale bere v úvahu i deklarovanou míru jistoty: pokud někdo uvedl u nesprávného odhadu vysokou míru jistoty, ztratí víc než ten, kdo tipoval také špatně, ale uvedl nižší pravděpodobnost.
Zkušení prognostici vykázali významně lepší úspěšnost – počítáno podle popsaného skóre o třicet procent. Metaculus uvádí, že AI často chybovala v kontextuálních otázkách, tedy tam, kde výsledek nezávisí jen na měřitelných datech, ale i na mezilidských motivech, strategiích a interpretacích událostí. Oproti tomu u numerických otázek (např. „Kolik dní bude trvat uzavření vlády USA?“) byly rozdíly menší.
Tuto soutěž organizuje platforma Metaculus každé čtvrtletí – a je zajímavé že v předchozích kvartálech byl rozdíl mezi prognostiky a umělou inteligencí menší. Například ve čtvrtém čtvrtletí 2024 se několik AI modelů prognostikům téměř vyrovnalo. První čtvrtletí 2025 ale „posadilo chatboty na zem“, což ukazuje, že tempo zlepšování AI není lineární. (A také to ukazuje, že GPT od OpenAI, na němž většina zúčastněných modelů stojí, přinesl změny, které sice zlepšily verbální přesnost a styl odpovědí, ale ne schopnost uvažovat o kauzalitě a neformálních vazbách mezi událostmi.)
Psali jsme
Expertní názor nebo předpověď prognostika? Dokáží lidé odhadovat budoucnost lépe než statistické modely? Nově zveřejněná studie autorů Gavina Leeche…
Užitečné prognózy
Platformy jako Good Judgment Open, Manifold nebo právě Metaculus umožňují koncentrovat lidskou expertízu k odhadování budoucnosti. Využívají je firmy, veřejné instituce i výzkumné týmy.
Například ministerstva obrany a zahraničí v USA či Velké Británii používají podobné systémy k odhadu pravděpodobnosti geopolitických scénářů. Soukromé společnosti pak využívají predikční trhy pro interní rozhodování – třeba zda spustit nový produkt či vstoupit na nový trh, nebo jak dlouho nejspíš potrvá vývoj projektu. Všechny, především občany, pak mohou zajímat názory prognostiků například na otázky ohledně přijetí eura v jednotlivých evropských zemích.