Прості американці не помітили цих сигналів, проте спеціалісти теж проґавили бульбашку

Зародження комп'ютерної ери у 1970-х та 1980х роках призвело до тимчасового зниження економічної й наукової продуктивності.

Економісти назвали це явище «парадоксом продуктивності». Попри захмарні очікування від комп'ютерної обробки великих масивів даних, результати розчаровували: якщо у 1960-х роках в США на кожну патентну заявку було витрачено близько $1.5 млн, то на піку інформаційної епохи цифра зросла — до максимуму в $3 млн у 1986 році. Згодом продуктивність покращилася, та це слугує нагадуванням, що людство може катастрофічно помилятися з передбаченнями майбутнього.

Нейт Сілвер, відомий аналітик, який спеціалізується на статистиці та передбаченнях, написав про прогнозування цілу книгу немаленького обсягу.

Фінансова криза часто сприймається як історія політичної поразки поганих політичних і фінансових інститутів, та це швидше катастрофічно помилковий прогноз. Рейтингові агентства на кшталт Standard&Poor`s оцінювали ймовірність невиплати за борговими зобов'язаннями протягом наступних п'яти років як 1 шанс із 850, або 0.12%. Насправді ризик дефолту становив близько 28%, що у дві сотні (!) разів вище за прогноз. Порівняти таку похибку можна хіба що з прогнозом погоди, коли вам обіцяють +30, а натомість на вулиці починається заметіль. Ймовірно, це був найбільш провальний прогноз серед усіх можливих у фінансовій сфері.

Проблема рейтингових агентств полягала у неспроможності бачити різницю між ризиком та невизначеністю. Ризик можна обрахувати. Невизначеність — ні, але рейтингові агентства запевняли, що можуть. Не можна сказати, що сигналів майбутнього краху не було, навпаки: окремі економісти помітили зародження бульбашки ще в 2000 році. Кількість пошукових запитів «бульбашка на ринку нерухомості» у гуглі в 2004-2005 роках зросла майже вдесятеро. Дослідження показували, що з 1896 по 1996 рік вартість нерухомості з урахуванням інфляції зросла всього на 6%, або на 0.06% в рік. Натомість власники житла очікували зростання на 13% (!) щорічно.

Прості американці не помітили цих сигналів, проте спеціалісти теж проґавили бульбашку:

У грудні 2007 року, коли кількість випадків переходу власності на нерухомість до кредитора зросла на 75%, група фахівців із The Wall Street Journal оцінила ймовірність рецесії в наступному році у 37%. Цимес, як з'ясувалося постфактум, в тому, що економіка ВЖЕ перебувала у стані рецесії. Інша група оцінила ймовірність падіння економіки до того, яким він виявився насправді, як 1 з 500.

Фахівці помилилися не лише з ймовірністю рецесії: максимальний рівень безробіття в 2009 році очікували на рівні 9%, а він сягнув 10.1%. Перші урядові розрахунки оцінювали падіння ВВП на 3.8%, тоді як реально ВВП впав на 9%, тобто країна виявилася на $200 мільярдів біднішою, ніж спочатку вважали урядовці.

Економічні прогнози не здатні передбачити якісь серйозні речі більше, ніж за кілька місяців до їх прояву.

За останні 18 років третина прогнозів діапазону ВВП від провідних економістів виявилася повністю хибною. У 1990-х роках економісти всього світу змогли спрогнозувати лише дві рецесії із 60. Експерти надто самовпевнені щодо своїх прогнозів, хоча є й хороші новини: узагальнені прогнози виявляються точнішими на 20%. Але тут з'являється проблема ЗМІ: такі «звичайні» або «нормальні» прогнози не викликають великого відгуку в авдиторії, котра прагне чогось сенсаційного, тож на шпальти і в етери потрапляють маргінали на кшталт арестовича і романенка. Нейт Сілвер пише, що це доволі серйозна проблема навіть для американського суспільства: існує чималий запит на експертів, натомість попит на точні прогнози невеликий.

McLaughlin Group — щотижнева телевізійна програма, де політичні експерти обговорюють актуальні питання та озвучують прогнози на майбутнє. Нейт Сілвер проаналізував більше тисячі прогнозів, зроблених у цій програмі, і виявилося, що 39% прогнозів були «абсолютно точними», а 37% — «абсолютно хибними». З таким само успіхом можна було просто кинути монетку.

При цьому, жодного із учасників не можна було виділити серед решти як безумовно найкращого. Найпопулярніші гості програми отримали майже однакову оцінку від 49 до 52 відсотків, тобто вони могли з однаковим успіхом дати як правильний, так і неправильний прогноз.

Нейта Сілвера часто згадують навіть в українському нонфікшні. Він прославився кількома проєктами, один з яких — FiveThirtyEight (583), агрегує соціологічні опитування та видає ймовірний результат виборів. «583» бере середнє значення з усіх опитувань та робить поправку на невизначеність. Фактором невизначеності може бути, наприклад, час до виборів: якщо кандидат випереджає суперника на 5 пунктів за рік до виборів, то шанси на його перемогу становлять лише 59%, що ненабагато краще, ніж гадання на кавовій гущі. А от випередження на ці самі 5 пунктів за день до виборів означає перемогу в 95% випадків. «583» змінює прогноз, якщо надходять важливі дані — триматися за вчорашній прогноз немає ніякого сенсу. «Коли змінюються факти, змінюється і моя думка, — сказав якось відомий економіст Джон Кейнс. — А у вас хіба не так, сер?»

Невизначеність на повну силу проявляється в прогнозуванні погоди.

У 1972 році викладач Массачусетського технологічного університету Едвард Лоренц не міг зрозуміти, чому в одній з найперших комп'ютерних програм для прогнозування погоди постійно з'являються некоректні дані. Після серії перевірок виявили, що один із програмістів чомусь обмежував числа, які він вводив, лише третьою цифрою після коми. Замість того, щоб ввести показник атмосферного тиску 29.5168, він його округляв до 29.517. Незначна похибка у вхідних даних давала величезне відхилення у кінцевих результатах — це і є той самий ефект метелика на іншому боці планеті.

За 40 років прогнози погоди значно покращилися: середнє відхилення температури знизилося з 6°F до 3.5. Найбільших успіхів метеорологія досягла у прогнозуванні ураганів — точність прогнозу місця удару стихії зросла з 560 до 160 кілометрів. Зараз метеорологи здатні передбачити зону ураження бурі за 72 години, що достатньо для евакуації; в 1985 році цей показник складав лише 24 години.

Точність більшості метеорологічних прогнозів зросла на 350% за останні 25 років, чого не скажеш про сейсмологічні.

Землетруси забирають набагато більше людських життів, але наука тут майже безсила — ще жодного разу не вдалося передбачити серйозний землетрус. У сейсмологів відсутня теоретична модель і розуміння процесів всередині земної кори; вони шукають сигнали у морі статистичного шуму, але поки що безуспішно. Проте хоча землетрус неможливо передбачити, його можливо спрогнозувати. Різниця тонка, але докорінно важлива: передбачення — конкретне та обґрунтоване твердження про те, де і коли відбудеться землетрус.

Прогноз — ймовірнісне твердження, яке говорить про те, що у певний період часу очікується землетрус. Точність і похибка критично важливі у сейсмології: АЕС у Фукусімі була спроєктована так, щоб витримати землетруси до 8.6 бала, проте ніяк не 9.1 бала. Землетруси такої сили виникають раз на 13 000 років, але саме так і трапилося.

Кореляція не конче означає причинність, як у випадку з впливом кількості піратів на глобальне потепління, та бездумне заперечення зв'язку двох величин інколи може зіграти злий жарт. Засновник статистичної школи фреквентизму та розробник методології експерименту англійський статистик Рональд Фішер був пристрасним курцем та заперечував зв'язок між палінням та раком. Він навіть стверджував, що рак легень призводив до куріння, а не навпаки, припускаючи, напевне, що люди курять, щоб зменшити дискомфорт у легенях.

Ось тобі і експертність.

Ця книга має все, щоб бути хорошою:

Цікавий матеріал, титулованого автора, доступну форму подачі, структурованість та послідовність, однак у неї чомусь не виходить. 

Формально, книга про статистику та прогнозування, ймовірності і невизначеність у повсякденному житті, «Сигнал і шум» розсипається на окремі історії через відсутність конкретної ідеї чи бачення. Інформація не перетворюється на знання, а численні розмиті поради та настанови щодо критичного мислення навіть починають скидатися на мотиваційну мотивацію.

Книгу запросто можна було б скоротити з п'яти сотень сторінок удвічі. Дочитувати справді важко.

Рекомендувати цю книгу не буду, але й відраджувати не став би, хоч і сам схиляюся до більш скептичної оцінки.