Peter Schiff „przewidział” kryzys z 2008 r., ale trzeba zadać sobie pytanie o liczbę kryzysów, które przewidział, a które się nie wydarzyły. Zepsuty zegar dwa razy na dobę pokazuje dobrą godzinę – mówi Philip E. Tetlock z Uniwersytetu Stanu Pensylwania, wyjaśniając, czym różni się wróżbita od eksperta.
Sebastian Stodolak: – Czy istnieją prognozy godne zaufania?
Philip E. Tetlock: – A czy można ufać prognozie pogody?
Chyba tak.
Oczywiście, że tak, ale nie do końca. To jest kwestia stopnia prawdopodobieństwa ziszczenia się danej prognozy. Prognozy pogodowe mają dużą sprawdzalność i relatywnie niewielki margines błędu.
Ale pogoda to osobliwa kwestia, zależy od – w dużej mierze – wyliczalnych czynników fizycznych. Ekonomia, albo geopolityka nie mają takiej natury.
Nie mają, dlatego progności w tych dziedzinach częściej się mylą.
Dużo wciska się nam w TV prognostycznego kitu?
Cóż, telewizja ma negatywny wpływ na jakość i trafność przewidywań. Od lat 80. prowadzę „turnieje prognozowania”, czyli zapisuję to, co eksperci sądzą na dane tematy, a potem konfrontuję ich przewidywania z tym, co faktycznie się dzieje. Proszę zgadnąć jak w tych badaniach wypadają sławni „eksperci” telewizyjni?
Słabo?
Słabo. Bardzo słabo. Przykład: ich odpowiedź na pytanie, kto będzie kolejnym prezydentem USA nie różni się w dużej mierze od odpowiedzi losowej.
To dlaczego się ich zaprasza i uznaje za ekspertów?
Jest kilka przyczyn. Z punktu widzenia mediów najważniejsza jest ta, że ekspert, który się waha, waży słowa, unika sądów twardych jest nieużyteczny, bo nieciekawy. Zaś ekspert, który mówi, że wie i jeszcze umie precyzyjnie określić, co wydarzy się w przyszłości – to dopiero skarb! Z moich badań wynika, że choć ten pierwszy rodzaj eksperta ma częściej rację, a ten drugi częściej się myli, to telewizja ma tendencję do niezapraszania ponownie do studia ludzi, którzy mają rację.
Jak odróżnić dobrą prognozę od słabej, albo od wróżby?
Jeśli ekspert używa sformułowań typu „jednakże”, „prawdopodobnie”, „chociaż”, „ale”, „w przypadku”, to można założyć, że wie, o czym mówi. W praktyce sprowadza się to do różnicy pomiędzy dwoma stwierdzeniami: „bardzo możliwe, że w przyszłym roku będzie recesja!”, które wypowiada słaby ekspert i „istnieją szanse na poziomie takim a takim, że w przyszłym roku będzie recesja, ale pod warunkiem, że…”, które wypowiada ekspert rzetelny. Różnica polega na tym, że ktoś, kto mówi „możliwe”, a jego prognoza się nie sprawdza, stosuje potem wybieg na zasadzie: „Mówiłem, że to tylko możliwe, a nie pewne!” To najłatwiejszy i najbardziej banalny wybieg pozwalający zakamuflować to, że czyjeś prognozy są bezużyteczne, bo brak im ostrości sformułowania i określenia prawdopodobieństwa.
Pamięta Pan słynną telewizyjną kłótnię dwóch ekonomistów Artura Laffera i inwestora Petera Schiffa z, bodaj, 2006 r.? Laffer twierdził, że kryzysu nie będzie, Schiff zakładał się, że będzie. Jego prognoza się sprawdziła, ale czy była „dobra”?
Oczywiście pamiętam tę rozmowę. Ja myślę, że jeśli chodzi o przewidywanie kryzysów, to sprawa jest znacznie bardziej skomplikowana. Schiff „przewidział” kryzys z 2008 r., ale trzeba zadać sobie pytanie o liczbę kryzysów, które przewidział, a które się nie wydarzyły. Proszę pamiętać, że zepsuty zegar dwa razy dziennie pokazuje dobrą godzinę. Ci, którzy nieustannie przewidują kryzys, w końcu ten kryzys mają. Swoją drogą, genialny ekonomista Paul Samuelson mawiał, że giełda przewidziała 9 z ostatnich 5 recesji…
Zabawne, wspomina pan akurat tego ekonomistę, którego przewidywania były wręcz kompromitujące. Czy to nie Samuelson przewidywał w swoich podręcznikach, że ZSRR w końcu prześcignie USA pod względem PKB?
Niestety, to był on [śmiech]. Jak widać, IQ nie jest gwarantem trafności prognoz. Samuelson sformułował konkretną prognozę, która się nie sprawdziła. Natomiast słabi progności próbują ubrać swoje stwierdzenia w takie szaty, by można było potem je różnie interpretować. Z przewidywaniem wiąże się ciekawe zjawisko: lubimy tłumaczyć sobie, że coś przewidzieliśmy, mimo że tak wcale nie było.
Jeszcze za czasów zimnej wojny pomiędzy USA a ZSRR pytaliśmy ekspertów, jak to wszystko się skończy. Zadawaliśmy bardzo precyzyjne pytania. Np.: czy Rosja najedzie Polskę, itd. Język ówczesnej debaty był bardzo niedoskonały. Jedni chcieli naciskać ekonomicznie i militarnie na ZSRR, wywierać presję i wierzyli, że w końcu blok sowiecki się rozpadnie. Drudzy uważali, że należy zaakceptować istnienie komunistów i oni sami z czasem wyewoluują w coś akceptowalnego dla świata. Każdy swoje prognozy dopasowywał do swoich przekonań. Czy ktoś przewidział, że do władzy dojdzie ktoś taki, jak Gorbaczow?
Nie?
Nie. Ale wszyscy jak jeden mąż twierdzili, że przewidzieli. Sakramentalne „A nie mówiłem?” padało z każdej strony. Skąd to się bierze? Tkwi w nas tendencja do samooszukiwania się, uważania się za mądrzejszych niż w rzeczywistości jesteśmy. Gdybyśmy spisywali rzetelnym, precyzyjnym językiem nasze prognozy, a potem poddawali je ocenie, wówczas bylibyśmy intelektualnie uczciwsi i uczylibyśmy się na swoich błędach. To wręcz warunek konieczny dla dobrego prognozowania. Najlepsi eksperci to ci, którzy są wobec siebie uczciwi i analizują swoje poprzednie prognozy. To trudna sztuka, bo przecież trudno szacować prawdopodobieństwo wydarzeń takich, jak wojna w Syrii, recesja gospodarcza w Chinach, czy najazd Putina na Ukrainę.
Czyli metoda na coraz lepsze prognozy to po prostu metoda „prób i błędów”?
W dużym skrócie tak właśnie jest. Ciekawe, że najskuteczniejsi w prognozowaniu przyszłości nie są oficjalnie eksperci, np. ci zatrudniani przez rząd, a utalentowani amatorzy wybrani losowo z ogólnej populacji USA. Wykazały to moje badania. Co jest tego przyczyną? Są oni mniej dogmatyczni, nie muszą dbać o swoje „nazwisko”, mogą przyznawać się do błędu i rozumieją pojęcie prawdopodobieństwa. Wbrew pozorom to nietrywialna sprawa zrozumieć, czym różni się zakład 40/60 od zakładu 60/40.
Najlepsi prognostycy, kiedy mają odpowiedzieć na konkretne pytanie, działają tak: biorą wszystkie ich zdaniem istotne zmienne, które mogą wpłynąć na ostateczną odpowiedź, szacują szczegółowe prawdopodobieństwa i dopiero po ich skumulowaniu otrzymują finalny efekt. Ich modus operandi to szukanie długofalowych trendów. „Superprognosta” powie na przykład: od II Wojny Światowej kryzysy ekonomiczne w USA mają miejsce średnio co 7 lat. Od ostatniego upłynęło już 7 lat, więc szansa na kolejny rośnie i ów kryzys wybuchnie z prawdopodobieństwem takim a takim, jeśli zadziałają dodatkowe czynniki, takie jak np. załamanie w Chinach, czy duże spadki w handlu ze strefą euro na skutek trawiącego ją kryzysu.
Jak do Pańskiego twierdzenia, że możliwe jest superprognozowanie ma się to, co James Surowiecki pisał w „Mądrości tłumów”? Że to nie eksperci, a właśnie skumulowane i uśrednione opinie tłumu na temat przyszłości są najbliższe prawdy.
Jest to głęboko komplementarne z moim podejściem. Zgadzam się, że średnia opinii grupy obserwatorów będzie bliższa prawdzie niż opinie indywidualne. Analiza grupy pozwala uchwycić „sygnał”, który niedostępny jest jednostce. Ja i moi współpracownicy idziemy nawet dalej niż Surowiecki. Zamiast zwykłej średniej wyciągamy z prognoz średnią ważoną, w której więcej znaczą ci progności, którzy historycznie rzecz biorąc częściej mieli rację. To nie koniec. Wyciskamy z tych wyników jeszcze więcej, doprowadzając je do ekstremum. Już tłumaczę.
Pamięta pan czasy, gdy Obama polował na Osamę? Musiał on zapytać swoich ekspertów o ich szacunki dotyczące szansy na to, że Osama ukrywa się w Pakistanie. Załóżmy, że grono ekspertów niezależnie i jednogłośnie oszacowało tę szansę na 70 proc., przy czym każdy z nich brał informację z innych źródeł. Np. z danych wywiadu, analizy informacji z internetu, satelity, itd. Czy więc szansa to faktycznie 70 proc.? Niekoniecznie. Bierzemy wyniki prognostyczne tych ekspertów z przeszłości, sprawdzamy ich średnią trafność i wówczas w zależności od niej nasze szacunki co do miejsca pobytu Osamy korygujemy w górę, albo w dół.
To wszystko brzmi bardzo naukowo. Swoją najnowszą książkę zatytułował pan nawet: „Superprognozowanie: Sztuka i nauka prognozowania” (Superforecasting: The Art and Science of Prediction). Czy zatem prognozowanie staje się osobną dziedziną nauki?
Może w pewnym specyficznym sensie. W „sztuce prognozowania” chodzi przede wszystkim o odsianie szumu informacyjnego i wytworzenie metod, które na taki odsiew pozwalają. Mój ostateczny cel to poprawić jakość debaty publicznej, a to się nie stanie, jeśli wciąż będziemy słuchać hochsztaplerów. Trzeba naciskać na media i ekspertów, żeby byli precyzyjni w tym, co mówią, a świat będzie piękniejszy i lepszy.
Jakieś rady dla dziennikarzy, jak zadawać pytania, żeby padały dobre odpowiedzi?
Ostrzeżenie: nie należy zadawać zero – jedynkowych pytań, na które odpowiedź miałaby brzmieć „Tak, czy nie”
Ale tego właśnie chcą media. Prostych odpowiedzi.
I to jest ślepa uliczka i jednocześnie istotny niuans. Prognozy powinny być precyzyjne, ale nie proste. Jeśli ktoś mówi, że PKB Polski spadnie w przyszłym roku dokładnie o 3,5 proc. to jest to „fałszywa precyzja”. Powinien mówić: szansa na spadek PKB na poziomie od 2 do 4 proc. wynosi tyle a tyle procent, spadek PKB 0-2 proc. to tyle a tyle procent prawdopodobieństwa, itd.
Niektórzy, np. Nicolas Nassim Taleb, przekonują, że naukowe prognozowanie na bazie np. klasycznego rachunku prawdopodobieństwa często okazuje się drogą donikąd.
Prawda jest taka, że aby dobrze formułować przewidywania trzeba mieć jakieś podstawy merytoryczne i dane statystyczne na pewno mogą być tutaj pomocne, zarówno w geopolityce, jak i w ekonomii. Niemniej jednak najbardziej interesująca jest wartość dodana, dodatkowe poza statystyczne umiejętności, które superprognostom pozwalają na robienie dobrego użytku z tych danych. My badamy, na czym ta wartość dodana, biorąca się z kreatywności ludzkiego umysłu, może polegać. To kwestia eksperymentalna. Cała sztuka prognozowania to właściwie eksperyment, daleko jej do dogmatycznych formuł.
Czy nie powinno się prowadzić obserwacji publicznych ekspertów, aby ocenić ich rzetelność w formułowaniu prognoz? Mogłyby to robić np. uniwersytety, albo think-tanki. Media same z siebie tego nie zrobią, bo nie mają w tym interesu, może więc konieczne są zewnętrzne naciski? Jeśli ludzie dowiedzą się, że gadające głowy w TV plotą seryjnie bzdury, może poważni eksperci będą wreszcie mieli wstęp na antenę i wpływ na kształtowanie świadomości politycznej i ekonomicznej?
Cóż, rzetelność to rzecz, którą niezwykle trudno sprzedać w TV. Jeśli ludzi nie uczymy w liceach, czym jest prawdopodobieństwo w rzeczywistym świecie, to nie oczekujmy, że zrozumieją oni ten koncept wówczas, gdy jako dorośli obywatele będą głosować wyborach. Niemniej warto próbować i to jest to, co ja i moi koledzy z projektu Good Judgment Project obecnie robimy.
rozmawiał Sebastian Stodolak
Philips E. Tetlock – psycholog i politolog z Uniwersytetu Stanu Pensylwania, specjalizujący się w ocenie trafności sądów i przewidywań ekspertów z różnych dziedzin. Autor wielu artykułów i książek, m.in. „Expert Political Judgment: How Good Is It” Twórca Good Judgment Project (Projektu Dobrego Osądu). Skuteczność przewidywań należących do niego ekspertów szacowana jest na 30 proc. wyższą, niż skuteczność przewidywań oficerów amerykańskiego wywiadu z dostępem do tajnych informacji.