Олимпиады по анализу данных

#лонгрид

Немного пропал последние дни, но по уважительной причине - сидел в жюри олимпиады по анализу данных для школьников DANO. С тематикой канала оно хорошо пересекается, так что заодно расскажу про неё подробнее!

Казалось бы, зачем нужна олимпиада по предмету, который в школе не преподаётся? С одной стороны да, с другой стороны - чтобы сделать базовый анализ, зачастую достаточно Excel (которым многие владеют, да и научиться им пользоваться несложно), а возможность в 9-10-11 классе попробовать позаниматься тем, чем занимаются реальные аналитики в реальных компаниях очень ценна сама по себе! Поэтому - а почему бы и нет?

Олимпиада проходит в несколько этапов, но самый интересный - это групповой (проектный) финал, когда участники собираются живьём и в командах делают проекты. На выбор им даётся большой набор самых разных баз данных - опросы, макростатистика по регионам, внутренние (понятное дело, анонимизированные) данные Тинькофф (соорганизатор олимпиады) и компаний-партнёров. Хочешь - исследуй как развитие туризма влияет на экономику региона, хочешь - какие факторы влияют на отказ от премиальных банковских продуктов. Кстати, на первом финале была база с аватаркой нашего канала (и это не случайно))

Конечная цель - поставить исследовательский вопрос, выдвинуть гипотезу и проверить её на данных. Ровно том, чем занимаются настоящие аналитики и исследователи. И, скажем честно, у некоторых школьников это уже получается не сильно хуже, чем у некоторых взрослых...

За три года существования олимпиады приятно впечатляет прогресс участников: если на первом финале в декабре 2021 многим не хватало инструментария (всё ограничивалось графиками и сравнением средних) а некоторым - понимания того, зачем это нужно ("мы обучили нейросеть" - "а что вы с её помощью можете сказать про влияние X на Y, в этом же цель вашего исследования" - "ну да, ничего. Но мы её обучили!" - хотя этим и многие взрослые грешат), то сейчас почти все умеют делать статистические тесты, многие освоили азы эконометрики, и самое главное - действительно много ребят понимают, зачем они это делают и зачем нужны эти тесты и модели. И это очень круто!

В общем, очень классное мероприятие (и это не реклама)). У кого есть дети подходящего возраста, которым это могло бы быть интересно - рекомендую! У олимпиады, кстати, регулярно проходят хакатоны (не в Москве, правда), на которых можно попробовать то же самое в мини-формате.

Дорогие читатели!

Вот и заканчивается 2023 год - не самый простой, надо сказать, но от него осталось уже совсем чуть-чуть, а дальше (будем все вместе на это надеяться!) будет лучше! :)

За последний год в нашем небольшом уютном канале появились:
- Регулярные ежемесячные наукасты темпов роста ВВП - единственные, насколько мне известно, в России! Декабрьские оценки, правда, появятся уже в следующем году, сами понимаете, конец декабря - период тяжёлый. Но наши годовые оценки от 6 декабря очень тесно бьются с теми цифрами, которые сейчас официально озвучиваются.
- Лонгриды. Они были и раньше, но за последние пару месяцев их было больше, чем за предыдущие пару лет, все их можно найти по тегу #лонгрид. Дальше лонгридов будет становиться больше - и можно даже написать в комментариях, про что вам было бы интересно почитать из областей, связанных с прогнозированием и статистикой!

Интересная статистика в новостном формате при этом тоже не исчезла - и тоже останется с нами в следующем году!

Спасибо, что были с нами этот год! Пусть новости и статистика в 2024 будут только хорошими. Здоровья, мира, любви всем нам. С Наступающим :)

И до новых встреч сразу после праздников!

Системы раннего предупреждения о конфликтах

#лонгрид

Сегодня - ещё один лонгрид из разряда "читаем статьи за вас", на этот раз про системы раннего предупреждения о конфликтах. Статья, кому интересно полное изложение, здесь.

Оказывается, существует достаточно много, больше десятка, разных систем и проектов, регулярно оценивающих риски возникновения вооружённых конфликтов, переворотов и т.д. в разных странах мира, с частотой вплоть до недельной (это делает проект ACLED).

Большая часть этих проектов ведётся академическими организациями, поэтому прогнозы и оценки публикуются в открытом доступе! И могут быть совершенно спокойно использованы кем угодно - а ведь такого рода цифры, даже если они не очень точные, могут быть очень полезны с точки зрения управления рисками и в целом прогнозирования для многих компаний и организаций. В конце концов, как показывают нынешние события в Красном море, достаточно одной неадекватной группы в одной стране, чтобы подпортить жизнь всему миру, если эта группа оказалась в (не)нужном месте в (не)нужное время.

Другой вопрос, что прогнозы правда оказываются не очень точными: авторы статьи не делают детальную оценку, но небольшой пример с одним годом и тремя (африканскими) странами, где в этот год происходили вооружённые конфликты, показывает весьма умеренную точность. Conflict Forecast, к примеру, смог просигнализировать о вероятности конфликта за месяц до его возникновения в случае Эфиопии, но не показал выдающихся результатов для других стран. С другой стороны, и один предсказанный за месяц конфликт - уже неплохой результат!

Список проектов со ссылками (забирайте, может пригодиться!):

- VIEWS
- ACLED
- WPS
- PRS
- Peoples under Threat
- GCRI
- EWP
- Conflict Forecast
- Atrocity
- CoupCast

Иерархическое прогнозирование: текущий статус, проблемы и перспективы

Сегодня (вдохновившись сразу несколькими интересными статьями в последнем номере 2023 года International Journal of Forecasting) поговорим об иерархических прогнозах.

Иерархический прогноз предполагает, что вы прогнозируете набор временных рядов, связанных друг с другом какой-то иерархией: к примеру, общие продажи магазина и отдельно продажи по категориям (которые в сумме дают общие продажи). В такой ситуации у вас есть три простых способа построения прогноза:
- Снизу вверх: делаем прогноз низкоуровневых рядов (продаж по категориям), суммируем в верхний уровень
- Сверху вниз: делаем прогноз высокоуровневых рядов (суммарных продаж), дезагрегируем на нижний уровень (к примеру, используя веса, посчитанные по историческим данным)
- Начиная от середины: прогнозируется средний уровень иерархии, из него суммируем в верхние уровни, дезагрегируем в нижние

Почему не прогнозировать ряды просто отдельно друг от друга? Потому что почти наверняка получившиеся прогнозы будут не когерентны: для них не будут выполнены определяющиеся иерархией рядов соотношения (сумма прогнозов по категориям не будет равна прогнозу суммарных продаж!). А когерентность для иерархических прогнозов - штука очень важная.

Более сложные подходы к прогнозированию иерархических рядов подразумевают прогнозирование всех рядов, но построенное таким образом, чтобы когерентность выполнялась: таким образом мы и не теряем информацию (как в любом из простых методов), и сохраняем взаимосвязи между показателями.

Но и здесь появляются проблемы: к примеру, оказывается (см. статью), что для сохранения когерентности нужно выбирать модели, оптимальные по MSE или RMSE, но не по MAE или MAPE (или их модификациям, включая MASE). Причина проста: среднеквадратичную ошибку (MSE/RMSE) минимизирует матожидание, а сумма матожиданий равна матожиданию суммы. А MAE, к примеру, минимизируется медианой, и для медианы такое соотношение не выполняется. Вроде бы мелочь, но важная!

Другая важная мысль работы - это практически полное отсутствие исследований по интервальному прогнозированию для иерархических рядов. Сами авторы предлагают использовать копулы для получения таких прогнозов.

Собственно, это два главных вывода работы: если хотите когерентные прогнозы, оценивайте ошибки по (R)MSE, а самое перспективное направление для исследований в иерархическом прогнозировании - это интервальные прогнозы.

Теперь, кстати, лонгриды формата "читаем статьи за вас" будут обозначаться отдельным тегом #статьи для удобства поиска! :)

#лонгрид
#статьи

Как прогнозировать показатели, по которым пока практически нет доступных данных?

#лонгрид
#статьи

На самом деле, прогнозирование показателей, для которых пока (практически) нет истории — задача очень важная и распространенная. Новые показатели, новые ценные бумаги на рынке, новые продукты, новое что угодно ещё. Обсуждаемая сегодня статья, на основе которой мы и поговорим об этой интересной задаче, сконцентрирована как раз на продажах новых продуктов.

Предлагаемая авторами методология очень проста, но достаточно интересна и легко реализуема:
1) Берем исторические данные по продажам других продуктов (той же компании или чужих продуктов из той же сферы)
2) Кластеризуем их (авторы кластеризуют ряды просто на основе их точек, хотя на самом деле методов кластеризации для временных рядов есть много, и зачастую они работают лучше)
3) Считаем среднюю динамику продаж по каждому кластеру
4) По первым нескольким точкам, доступным для нового продукта, относим его к одному из кластеров (к тому, у которого средняя динамика максимально похожа на динамику данного продукта)
5) Прогнозируем продажи нового продукта любой моделью, используя продажи других продуктов кластера в качестве объясняющих переменных.

В работе, если честно, хватает нюансов. К примеру, вынесенные в название статьи модели машинного обучения неожиданно (на самом деле нет, с учетом размера выборок) проигрывают простой ARIMAX.

Другой нюанс ещё забавнее: авторы для измерения ошибок используют в том числе MASE — отношение MAE (средней абсолютной ошибки) данной модели к MAE наивного прогноза — и по одной из двух изучаемых выборок лучшая модель (все еще ARIMAX)… Проигрывает наивному прогнозу!

Так что вопросы есть, но сама по себе идея методологии очень интересна — и стоит того, чтобы попробовать ее реализовать и протестировать при возникновении задачи такого рода. Особенно с учетом того, что стандартный подход для прогнозирования новых переменных на практике — это нередко просто «метод пристального взгляда». Это, кстати, далеко не худшее решение, когда это взгляд опытного и хорошо понимающего фактуру человека, но помочь ему точными цифрами и хорошими аналогиями никогда лишним не будет.

Как агрегировать прогнозы

Давно у нас не было лонгридов на канале - надо исправляться! Сегодня поговорим об агрегировании прогнозов.

Вообще, это достаточно частая задача: как из набора разных прогнозов (разными моделями или от разных экспертов) составить один как можно более хороший прогноз.

Простых подходов несколько:
- Просто взять среднее из всех прогнозов (и, кстати, многие считают, что это едва ли не лучшее решение - потому что простое и по качеству зачастую не хуже более сложных схем)
- Взять средневзвешенное, где веса пропорциональны качеству моделей. К примеру, можно посчитать ошибку прогнозов каждой модели на исторических данных и в качестве весов взять величину, обратную к этой исторической ошибке. Ну, и отнормировать, чтобы сумма весов стала равна единице. Тоже достаточно распространённый подход.

Но есть подходы и значительно более сложные. К примеру, в одной свежей работе предлагается схема следующего вида:
1) Формируем список переменных, которые могут влиять на качество прогноза (в их число могут входить и объясняющие переменные, при помощи которым мы строим наш основной прогноз, но это не обязательно)
2) Для каждой модели / каждого эксперта оцениваем, что (из списка из предыдущего пункта) влияет на качество его прогноза
3) Зная значения "переменных качества прогноза" мы можем спрогнозировать, насколько точной будет та или иная модель / тот или иной эксперт в текущий момент, и использовать это знание для агрегации прогнозов.

Конкретно в упомянутой работе предлагается ещё более интересная идея: в каком-то смысле совместить пункты 2 и 3. Вместо того, чтобы оценивать дополнительные модели в пункте 2, можно сделать всё непараметрически: просто найти в прошлом периоды времени, максимально "похожие" на текущий (с точки зрения значения "переменных качества прогноза") и посчитать, какая в те периоды была средняя ошибка прогноза. И дальше уже агрегировать.

Результаты проверки этой процедуры на реальных данных, честно говоря, не вау, но всё же какого-то прироста точности добиться получается. А это уже неплохо!

#лонгрид
#статьи

​Прогнозирование в экономике и модели машинного обучения

Машинное обучение и его маркетингово-привлекательная форма "ИИ" (который к ИИ в обыденном / навеянном классикой фантастики понимании не имеет никакого отношения) захватили сейчас, кажется, практически все сферы жизни. Прежде всего, конечно же, те сферы, где есть много данных: картинок в Интернете можно насобирать многие миллионы, текста (в Интернете же) мы каждый год сейчас пишем столько, сколько раньше и за век не получалось написать. Отсюда и модели, генерирующие и анализирующие текст и картинки.

А вот экономическое прогнозирование - одна из тех областей, в которых машинное обучение далеко не всегда выигрывает. Причина здесь тоже кроется в данных: нет у нас миллиона лет наблюдений за российской экономикой, и никогда не будет. Есть лет 30, во время которых экономика несколько раз катастрофически менялась, и всё! И нейронные сети по 30 точкам обучаться пока не умеют, и не факт что научатся.

В это русло - свежая статья из хорошего журнала Journal of Forecasting про прогнозирование на фондовом рынке. На недельных данных за период с 1999 по 2021 (больше тысячи точек) авторы прогнозируют цены акций отдельных компаний, входящих в SP500. Задача весьма популярная. Не менее популярен набор методов - от простой логистической регрессии до нейронных сетей. Чуть интереснее целевая переменная: прогнозируются здесь не непосредственно цены акций, а вероятность того, что та или иная акция покажет динамику лучше средней по рынку.

Результат, скажем честно, тоже не удивляет: наибольшую доходность показал портфель, составленный на основе ансамбля моделей, а среди отдельных моделей чаще всего "побеждает" старая-добрая логистическая регрессия с регуляризацией (обычно Ridge и Elastic Net). Качество прогнозов нейронных сетей разных видов (обычные feedforward и LSTM) заметно хуже.

К чему эта история? Далеко не всегда "сложнее" = "лучше". А, к сожалению, с попытками прогнозировать короткие временные ряды при помощи "ИИ", даже не сравнивая этот "ИИ" с чем-то попроще, сталкиваться приходится регулярно. Результаты, на самом деле, обычно такие же, как в этой статье. Но ведь "ИИ"! Модно же!

#лонгрид
#статьи

Иерархическое и байесовское прогнозирование: новые обзоры

#лонгрид
#статьи

В свежем номере IJF вышло сразу две очень интересные обзорные статьи.

Первая - обзор современных методов иерархического прогнозирования и согласования прогнозов. Я уже писал несколько постов про них, но тема очень новая (первые работы - 2009-2011 годы!) и актуальная (число статей в последние лет пять растёт практически экспоненциально), так что внимания она безусловно заслуживает.

В статье - обзор от первых подходов, основанных на МНК-оценках, до современных и нишевых методов, основанных на теоретико-игровых конструкциях, методах машинного обучения (в том числе мета-обучения, когда мы обучаем модель, которая будет выбирать другую модель) и совместной оценке всех показателей на основе state-space моделей.

Из неприятного: с обозначениями в работе немного беда, они прыгают, иногда появляются из ниоткуда, поэтому читать местами тяжеловато. Зато - большая часть текущего положения дел собрана в одной статье, это очень и очень ценно.

Вторая - не менее интересный обзор методов байесовского прогнозирования. В отличие от предыдущего обзора, тут достаточно детально изложены основные теоретические моменты, которые стоит знать, поэтому статья читается в чём-то проще.

Сам обзор состоит из двух частей. Сначала - в виде хронологического описания эволюции байесовского прогнозирования, затем - в виде набора конкретных кейсов из разных областей (здесь и макроэкономика, и финансы, и маркетинг)

Векторные авторегрессии и структурные сдвиги

#лонгрид
#статьи

Интересная свежая работа о влиянии структурных сдвигов на свойства оценок и прогнозов VAR-моделей. VAR-модели - один из основный инструментов в макроэконометрике, они очень широко используются и для прогнозирования, и для целей интерпретации полученных результатов.

Довольно неожиданным результатом, как мне кажется, является состоятельность оценок коэффициентов и точечных прогнозов в присутствии структурных сдвигов в ковариационной матрице и в средних значениях переменных! Но здесь тоже есть нюанс: чтобы оценки стали состоятельными, необходимо, чтобы размер модели (число учитываемых лагов) возрастал по мере роста числа наблюдений: подходит и вариант, когда число лагов жёстко привязано к размеру выборки, и когда оптимальное число лагов выбирается на основе информационных критериев.

VAR с жёстко зафиксированным числом лагов даёт несостоятельные оценки при структурных сдвигах в среднем.

Структурными сдвигами в ковариационной матрице ошибок можно пренебречь, если она не используется для идентификации модели. Если используется (как в любимых макроэкономистами структурных VAR) - то игнорирование структурных сдвигов сделает оценки, опять же, несостоятельными. В такой ситуации предлагается оценивать ковариационную матрицу не по всей выборке, а использовать локальные оценки.

Прогнозирование ВВП и нестандартные объясняющие переменные

#статьи
#лонгрид

Прогнозирование ВВП - тема, казалось бы, избитая, заезженная и вообще почти всё "простое", что можно было в ней сделать, уже давным-давно сделано. Сейчас усложнения чаще идут в сторону всё более сложных моделей, всё более нетривиальных данных (хотя Google Trends и новостной сентимент - тоже темы, в общем-то, давно надоевшие и заезженные) или в сторону оперативности оценок. Часто все эти направления комбинируются.

Но и простые истории всё же не закончились - вот вам свежая статья про прогнозирование ВВП, в которой авторы нашли новые переменные, которые значительно повышают качество прогнозов! И это не что-то сложное, рассчитываемое нейронными сетями по миллионам постов в соцсетях, а вполне себе прозрачные показатели:
- Отношение стоимости покупки жилья к стоимости аренды
- Отношение обязательств компаний к их располагаемым доходам

Дальше есть конечно небольшие расчётные нюансы - стоимость аренды считается суммарная за последние 10 лет, а во втором подходе используются не-финансовый не-корпоративный сектор.

Но и результаты, даже с использованием простых моделей, очень показательные, особенно на относительно больших горизонтах (3-5 лет), когда средняя ошибка прогноза оказывается вдвое(!) ниже, чем при использовании более "традиционных" объясняющих переменных.

Более того, модели с отношением стоимости покупки жилья к стоимости аренды смогли (на вневыборочных прогнозах) предсказать кризис 2007-2009 года! Чудеса да и только...

Из ограничений: данные конечно же только по США, и кончаются 2017 годом. Что там с коронакризисом и текущими событиями - непонятно.

О точности прогнозов МВФ

#лонгрид
#статьи

Давно не было у нас лонгридов про статьи - исправляюсь! И сегодня поговорим про две статьи сразу (одну совсем свежую и одну тоже свежую, 2023 года). Обе про одно и то же - про то, насколько (не)точно МВФ делает свои прогнозы.

Собственно, неточность прогнозов - это совершенно нормальное явление, идеальных прогнозов в природе не существует. Проблемы возникают, когда прогнозы оказываются систематически смещёнными, а уж когда это прогнозы огромной организации, заведующей (в числе прочего) распределением финансовой помощи бедным странам - это может быть действительно проблемой.

История первая - про ВВП. Систематических ошибок в прогнозах и наукастах ВВП развитых стран нет! Но они есть в отношении стран развивающихся (точнее, в LIC - Low-Income Countries, странах с низкими доходами): МВФ переоценивает ВВП в случаях, когда происходит быстрое восстановление после кризиса и недооценивает, когда восстановление не столь стремительно (то есть, самые страдающие страны по мнению МВФ должны страдать ещё больше - а ведь это может влиять и на величину финансовой поддержки, и в целом на политику в отношении этих стран). Но только в отношении бедных стран. Результаты касаются только кризисных периодов, когда наукасты и прогнозы особенно важны.

Особенно сильно завышаются темпы роста в странах Латинской Америки, а эффекты некоторых экономических реформ - недооцениваются.

История вторая - про страны, которые получают кредиты на покрытие дефицита платёжного баланса (то есть, которым не хватает валюты что-то купить - опять же, это страны, находящиеся в очень тяжёлых условиях). МФВ систематически излишне пессимистичен в отношении резервов этих стран (на деле они оказываются выше прогнозов МВФ), и излишне оптимистичен в отношении величины краткосрочного внешнего долга (на деле он тоже оказывается выше прогнозов МВФ). То есть, по прогнозам МВФ, денег таким странам нужно будет больше, а возможностей взять долг у них тоже будет больше! Идеальное комбо, чтобы взять у МВФ побольше - на всякий случай.

С причинами таких смещений вопрос более сложный. Авторы тактично кивают на то, что МВФ старается быть более пессимистичным в важных вопросах (темпы роста ВВП, резервы), чтобы потом не случилась ситуация хуже ожиданий. Но вопрос на самом деле весьма нетривиальный!

Можно ли спрогнозировать точность геополитических прогнозов и как это потом использовать

#лонгрид
#статьи

Короткий ответ: можно, и очень точно! А потом, зная точность прогнозов разных экспертов, можно получить ещё более точный прогноз

А теперь длиннее! Сегодня мы рассматриваем интересную статью, посвящённую точности геополитических прогнозов. 153 участника, 10 вопросов с ответом да/нет от "кто победит на выборах: Байден или Трамп" (речь идёт о выборах 2020 года) до "запустит ли КНДР межконтинентальную баллистическую ракету в [заданный промежуток времени]". На каждый вопрос участники должны были дать ответ в виде вероятности наступления события с текстовым обоснованием, списком показателей, на которые смотрит эксперт, оценкой своей экспертности в этой области и т.д. Всего - 11 разных показателей.

Из всего этого изобилия авторы статьи формируют ряд показателей и обучают модель для предсказания точности отдельных прогнозов (прогнозирование точности прогнозов звучит конечно прекрасно!)). И эта модель оказывается очень точной! Достигнутая точность на тестовых данных: ROC AUC = 0.85, если тестовые данные - это новые эксперты; и ROC AUC = 0.96, когда в качестве тестовых данные берутся новые прогнозы тех же экспертов, которые модель видела при обучении. Очень и очень неплохо! Собственно модель тут - логистическая регрессия с регуляризацией, всё очень просто и интерпретируемо.

Точнее оказываются те эксперты, которые более уверены в своих прогнозах, верят, что их прогнозы будут близки к среднему прогнозу других экспертов, у которых в обоснованиях больше слов, ориентированных на время, и меньше - на прошлое, настоящее и связанных с определённостью. Показатели про слова получены на основе Linguistic Inquiry and Word Count dictionary, интересующиеся могут там подробнее посмотреть, что входит в каждый из этих списков.

А дальше всё просто - зная точность отдельных экспертов, можно более корректно агрегировать их прогнозы в одну цифру. И она будет заметно (и статистически значимо) точнее, чем отдельные прогнозы!

Ещё один способ комбинировать машинное обучение с интерпретируемыми моделями: прогнозирование параметров интерпретируемых моделей при помощи нейронных сетей

#лонгрид
#статьи

Комбинирование моделей машинного обучения и моделей эконометрических тем или иным способом - довольно важная для многих сфер задача.

Эконометрические модели интерпретируемы, и это очень важно, когда речь заходит не о генерации картинок с котиками, а о каких-то чувствительных вещах (гос политика, работа банков и т.д.). Узнать, что ЦБ внезапно поднял ставку до 50% из-за того, что нейронка сгаллюцинировала и как-то не так спрогнозировала реакцию экономики - довольно грустно. Или узнать, что банк не дал тебе ипотеку из-за цвета кроссовок на фотке в соцсети. А понять, галлюцинации это или нет, может быть задачей довольно нетривиальной.

С другой стороны, модели машинного обучения просто гораздо точнее - по крайней мере, когда хватает объёма данных их обучить.

И вот ещё один интересный, как мне кажется, пример комбинации двух подходов из свежей статьи: старая-добрая векторная авторегрессия, у которой параметры меняются во времени но не каким-то простым (и обычно случайным) образом, как это обычно делается в TVP-VAR моделях, а как нелинейная функция от каких-то факторов! В данном случае: от времени. В чём преимущество? В возможности нормально прогнозировать эти параметры!

А та самая нелинейная функция оценивается, понятное дело, методами машинного обучения (тоже старой-доброй моделью, теперь - LSTM). Интересно, что оценивается оно всё совместно, максимизацией правдоподобия.

Работает, кажется, неплохо!

Вопросы, конечно, есть: прежде всего, нет сравнения с обычным TVP-VAR, оценённым "традиционным" методом (запись в виде state space модели -> фильтр Калмана -> максимизация правдоподобия). И это при том, что на этапе проверки на симулированных данных, эти сами данные симулируются на основе рядов коэффициентов, полученных из обычного TVP-VAR! Немного удивляет такая небрежность...

Тем не менее, идея достаточно красивая!

Прогнозирование на множественные горизонты: подходы и перспективы развития

#лонгрид

Вполне себе понятная и жизненная задача: построить модель/набор моделей для прогнозирования на несколько горизонтов одновременно. Чтобы и на месяц вперёд, и на два, и на три, и 12 желательно тоже. Как её решать?

Есть несколько стандартных стратегий (вот тут, к примеру, приведён неплохой обзор):

1) Рекурсивная. Прогнозируем на "завтра" используя уже известные значения за "сегодня", а для прогноза на "послезавтра" используем полученный на предыдущем шаге прогноз и ту же самую модель. Повторяем сколько угодно раз. Просто, понятно, для более-менее больших горизонтов (5-10 точек) прогнозы сводятся к константе или тренду (и становятся не очень осмысленными)

2) Прямая. Для каждого горизонта делаем отдельную модель, возможно даже с разными переменными. Может быть довольно долго в плане времени, уходящего на вычисления, но хорошо работает.

3) Прямая-рекурсивная. Гибрид, когда мы для каждого горизонта делаем отдельную модель, но в качестве объясняющих переменных добавляем прогнозы, полученные для меньшего горизонта, что обеспечивает какое-никакое согласование.

4) MIMO (multiple-input multiple-output). Довольно новая (2008 года) история, сводящаяся к тому, что мы оцениваем одну модель, которая сразу прогнозирует вектор переменных (на все нужные нам горизонты). Некий компромисс между рекурсивной и прямой стратегиями в плане вычислительной стоимости.

5) Прямой MIMO (DIRMO). Ещё более новая (2009 года) история. когда мы разбиваем весь горизонт на несколько блоков и для каждого оцениваем модель по принципу MIMO. Получаем большую гибкость (разные модели для разных горизонтов), отчасти сохраняя вычислительную дешевизну и способность учитывать взаимосвязи обычного MIMO.

А лучше всего всё равно работает прямая стратегия. И это самое удивительное в этой области: нет большой дискуссии ни вокруг методов согласования прогнозов на разные горизонты (что напрашивается при использовании прямой стратегии), ни вокруг каких-то других стратегий оценивания. Даже актуальные статьи в хороших журналах скорее обсуждают использование ещё более сложных моделей в рамках старого-доброго рекурсивного или прямого подхода (вот, к примеру), чем какие-то новые подходы.

Такая вот интересная история

О политической ангажированности в экономических оценках

#лонгрид

Прочитал тут на днях новость, что эксперты Стокгольмского института экономики "правильно" пересчитали российский ВВП за 2022-2024 и оказалось, что вместо роста в последние два года у нас наблюдалось ужас-какое-страшное падение ВВП. Стало интересно.

Путём гугления (довольно долгого, кстати) обнаружил, что речь идёт вот об этой публикации. В ней есть и в целом разумные рассуждения, кстати, но вот пресловутые "правильные" оценки темпов роста ВВП России - это просто что-то... По порядку:

1) "Если скорректировать рост ВВП России не на официальную инфляцию, а на данные «Ромира», то рост на 3,6% в прошлом году превращается в спад на 8,7%". Действительно, росстатовская инфляция вызывает вопросы и не очень стыкуется с тем, что мы видим своими глазами. И Ромировская инфляция в принципе тоже вызывает вопросы - но Ромир честно везде пишет, что это именно инфляция по потребительской корзине и довольно неплохо описывает методологию. Но главная проблема в том, что ВВП - это не только потребление, и дефлируется он не по ИПЦ, а по дефлятору ВВП. И он, кстати, выше ИПЦ, который считает Росстат (хотя всё равно гораздо ниже инфляции по версии Ромира)

2) "Альтернативные модели оценки российской экономики" выглядят весьма интригующе и звучат очень наукообразно. Только вот основаны они... На парной регрессии темпов роста ВВП на темпы роста цены нефти! Повтор этой чудесной высоконаучной модели будет следующим постом, но на словах: R^2 там получился 0.41 (то есть, изменение цены нефти объясняет 41% изменчивости темпов роста ВВП), насчитать по такой "модели" можно много чего, наоценивать таких "моделей" корреляции темпов роста ВВП с чем угодно можно очень много (и примерно такого же качества), смысла в этом, скорее всего, будет немного.

3) Моё любимое: "модель корреляции с ВВП США показала обвал на 10,9%". Никакой модели корреляции с ВВП США там конечно же нет (да и странно было бы прогнозировать ВВП России по корреляции с ВВП США, вот честно), зато там есть ошибка переводчика и расчёт "USD GDP" - то есть, ВВП в (текущих) долларах США. Не "US GDP". Это разные вещи!

С учётом того, как ослабел рубль к доллару в 2023 году (по сравнению с 2022) - да, действительно, в текущих долларах США ВВП России в 2023 довольно сильно упал. И это нормально, любые оценки в текущих долларах США летают туда-сюда вместе с курсом, это в целом бессмысленный показатель для всех экономик, кроме собственно экономики США. Про это тоже попозднее сделаю отдельный пост.

Ну и в целом: падение ВВП на 10.9% за год - это масштабы Великой Депрессии в США (там было -30% за 4 года), когда люди жили на улицах в коробках и умирали от голода. Ничего такого у нас, как несложно заметить, просто повертев головой по сторонам, даже близко не происходит)

Резюмируя: задавать вопросы о качестве оценок макропоказателей - это нормально. Делать и изучать альтернативные оценки - это тоже нормально. Но вот писать (очевидно) политически ангажированные апокалиптические глупости - это не нормально

Макропрогнозирование методами машинного обучения: свежий российский опыт

#статьи
#лонгрид

Сегодня посмотрим сразу на две статьи из одного и того же свежего номера журнала "Деньги и Кредит". Обе - про прогнозирование чего-то макроэкономического (одна про ВВП, другая - про инфляцию) при помощи методов машинного обучения.

Герой номер раз: инфляция, при этом не только и не столько общая цифра, сколько отдельные компоненты (рассматривается 80 отдельных групп продуктов). Большой набор объясняющих переменных от курса рубля до опросных данных по потребительским настроениям. Данные месячные, прогнозы строятся на горизонт от 1 до 12 месяцев вперёд, а тестируется всё это на очень непростом периоде 2019-2023 гг.

Что получилось: лучше прогнозировать инфляцию по компонентам и потом агрегировать, чем прогнозировать сразу общую цифру. Тяжелее всего прогнозировать цены на яйца, сахар, международный туризм и плодоовощную продукцию (хотя во всех случаях, кроме последнего, подозреваю, дело скорее в отдельных разовых чудесах с ценами на эти продукты. Если добавить 2024 год, то наверняка в этот список попадёт и сливочное масло). Лучшими моделями оказались один из классических инструментов машинного обучения CatBoost и ARD-регрессия (по сути - регрессия с байесовской регуляризацией).

Герой номер два: сравниваются комбинации ансамблевых моделей (random forest и разные виды бустинга - получаем ансамбль ансамблей) и разных по архитектуре нейронных сетей (CNN, ANN, RNN, LSTM, GRU) и оптимальная комбинация всего этого весьма немаленького зоопарка.

Подробные результаты удобнее смотреть в приложении и они довольно удивительны: ансамбли ансамблей даже на прогнозах на 1 квартал вперёд в разы превосходят по точности простой бенчмарк в лице AR(1)-модели, на больших горизонтах разрыв ещё больше увеличивается. Ещё удивительнее, что даже простая feed-forward нейронная сеть (на квартальных данных - их мало! А параметров в моделях случаем не больше, чем наблюдений?) превосходит AR(1). Скажем честно, вопросы к устойчивости результатов есть, но авторы приводят сетки гиперпараметров для всех использованных моделей, так что в принципе пересчитать за ними несложно.

Чего наверное не хватило в обоих случаях - это сравнения с SOTA эконометрическими моделями, а не только AR(1). Но в любом случае - весьма любопытно!

Помогают ли теоретические соображения при прогнозировании?

#статьи
#лонгрид

Интересная свежая статья о том, верят ли профессиональные прогнозисты в [теорию] кривую Филлипса и помогает ли её учёт повысить качество прогнозов.

(Для менее знакомых с экономикой): Кривая Филлипса - очень распространённое наблюдение (и свойство многих теоретических моделей) об обратной связи между безработицей и инфляцией. Чем выше безработица - тем ниже инфляция, и наоборот.

Верят ли в кривую Филлипса? Скорее нет: ретроспективный анализ прогнозов большого числа профессиональных прогнозистов за период с 1981 по 2019 показал, что соотношения кривой Филлипса (если прогнозируешь рост безработицы -> прогнозируй и падение инфляции) выполняются для прогнозов только четверти специалистов!

В целом, степень соответствия прогнозов экспертов кривой Филлипса меняется во времени и зависит в том числе от текущего состояния экономики, при этом в более поздние периоды времени прогнозы оказываются дальше от кривой Филлипса.

Помогает ли учёт кривой Филлипса повысить точность прогнозов? Да, но только прогнозов на короткие горизонты. И это довольно неожиданно: так вот сходу скорее кажется, что теория может помочь повысить качество более долгосрочных прогнозов - но нет!

Ключевая ставка и инфляция

#статьи
#лонгрид

Тема, вызывающая с каждым днём и каждой еженедельной публикацией инфляции от Росстата всё больше и больше холиваров обсуждений. Так всё же, рост ставки ускоряет или замедляет инфляцию?!

Прежде всего, ничто не ново под луной: все наши нынешние популярные рассуждения от самых разных комментаторов про то, что из-за роста ставки падает предложение и в результате ещё больше растут цены, уже давным-давно были озвучены. Обычно их исток датируют высказыванием 1970 года(!) американского сенатора Райта Патмана (Wright Patman), что поднимать ставку для борьбы с инфляцией - это как "подливать бензин в огонь". И аргументы были ровно те же, что приводят сейчас у нас. За прошедшие с тех пор более, чем полвека, в научной литературе эту позицию исследовали достаточно детально - и она не так и безумна, как выставляют некоторые (другие) наши комментаторы.

Но пойдём по порядку. Мейнстримная позиция сейчас заключается в том, что рост ставки всё же снижает инфляцию - и есть целый ряд каналов, по которым работает этот эффект (почитать научно-популярное изложение можно, к примеру, у ЕЦБ). По большей части: депозиты привлекательнее -> меньше спрос -> меньше денег -> ниже цены. Или выше ставка -> привлекательнее вложения в экономику -> крепче нацвалюта -> дешевле импорт -> ниже цены. И таких каналов несколько.

При этом и "эффект Патмана" (а его так и называют) имеет право на существование - и есть достаточно много эмпирических свидетельств его существования! К примеру, в этой работе (очень приятно и не-технически написанной, хотя и довольно старой - 2001 года) выделяется три эффекта, навевающих на мысли о существовании механизмов монетарной политики, работающих через предложение (а рост издержек - это как раз история про предложение). Обычно это называется cost channel (канал издержек):
- Даже небольшие изменения ставки влияют на выпуск сильнее, чем должны по моделям, не учитывающим влияние ставок на издержки
- В ответ на рост ставок (и в целом ужесточение монетарной политики) обычно сначала происходит рост цен, а снижения приходится ждать. Этот price puzzle впервые был замечен ещё в 1992
- Монетарная политика действует на основные экономические показатели не так, как другие события, влияющие чисто на сторону спроса.

А вот есть совсем свежая работа, где инфляция (американская, само собой) раскладывается на инфляцию за счёт спроса и за счёт предложения. И да, инфляция за счёт предложения во многие периоды времени ничуть не уступает инфляции за счёт спроса! И вроде бы там же получается, что на инфляцию за счёт спроса монетарная политика влияет сильнее, чем на инфляцию предложения (соответственно, эффект монетарной политики должен быть в рамках мейнстрима), но тут всё зависит от структуры каждой конкретной экономики в каждый конкретный момент.

Мораль? С моралью тут сложно. В любом случае, монетарная политика не действует мгновенно, и рост ставки (который, надо полагать, продолжится и дальше) перейдёт в снижение цен не сразу. Правда, пора бы уже, ну на край к весне...
Но и существование канала издержек отрицать и сбрасывать со счетов не стоит. Как минимум - стоило бы попробовать прикинуть масштаб инфляции каждого из видов (хотя бы в духе статьи по последней ссылке).
Хотя, понятное дело, все эти статьи написаны и теории придуманы для экономик в "нормальном" режиме существования, а у нас сейчас всё весьма аномально, скажем честно...

Содержится ли какая-то полезная информация в разбросе экспертных прогнозов?

#лонгрид
#статьи

Про экспертные прогнозы я писал уже неоднократно - это довольно популярная в последние годы тема. Тут изучаются и прогнозы отдельных ведомств, и способы агрегации экспертных прогнозов, и много других вопросов - в конечном итоге многие из этих исследований сводятся к соревнованию "искусственного интеллекта" (в том или ином его понимании) с интеллектом естественным, и чаще всего оказывается, что надо не соревноваться, а кооперироваться!

Сегодня - ещё одна свежая интересная статья из этой области, но посвящённая не точности экспертных прогнозов, а их разбросу: можно ли на основе волатильности экспертных прогнозов предсказывать волатильность того показателя, который они прогнозируют! Короткий ответ: видимо, да!

Методологически работа построена просто. Есть цена нефти и её волатильность. Есть ЕЦБ-шный опрос профессиональных прогнозистов (ежеквартальный, с 2002 года!), где они прогнозируют цену нефти. Есть набор стандартных моделей для прогнозирования волатильности цены нефти.

И оказывается, что если в эти стандартные модели добавить разброс (стандартное отклонение) прогнозов экспертов, то они начинают прогнозировать волатильность цены нефти гораздо лучше! И "гораздо" лучше - это, по некоторым метрикам, лучше в разы. Ну и, понятное дело, статистически значимо всеми стандартными тестами.

В целом, вот и вся статья - просто, но интересно!