Задачу проведения доказательной политики в государственном секторе осложняет отсутствие единого стандарта для идентификации и интеграции научных фактов в процесс принятия решений.

В качестве стандарта для оценки качества доказательств предлагается система THEARI:
- theoretical
- empirical
- applicable
- replicable
- impact.

Система основана на оценке доказательств по пятибалльной шкале в зависимости от уровня валидации. Чем выше уровень валидации, тем в большей степени доказательство подходит для интеграции в процесс принятия управленческих решений.

Об этом статья Катрин Оливер (профессор социологии и здравоохранения Лондонской школы гигиены и тропической медицины) и Анетт Боаз (профессор Кингстонского университета) «Стандарты фактов для принятия решений в сфере государственной политики», опубликованная в академическом журнале Palgrave Communications.

Обзор по ссылке.

Для преодоления глобальных кризисов необходимы системные трансформационные изменения, для управления ими - их качественная оценка. Стандартные критерии для оценки программ и проектов не отвечают изменениям такого глобального масштаба. В связи с этим актуален вопрос выработки гибких и легко модицифицируемых под конкретные задачи критериев оценки масштабных системных трансформаций, а также апробация этих критериев на примере трансформаций в ответ на кризис после пандемии коронавируса и в рамках реформы глобальной продовольственной системы.

Об этом статья Майкла Пэттона (ведущего специалиста по прикладной оценке) "Критерии оценки трансформации: значение в контексте пандемии коронавируса и изменения климата" , опубликованная на сайте журнала American Journal of Evaluation.

Обзор статьи по ссылке.

"Грамматика институтов" - это подход к анализу институтов через фокус на синтаксических структурных элементах, которые составляют и формируют институты, воплощенные в языковой форме. К таким институтам относятся государственные политики, стратегии, законы и нормы. 

Подход был предложен Сью Кроуфорд и Элионор Остром еще в 1995 году. Вместе с тем, распространению “грамматики институтов” препятствуют значительные затраты времени и ресурсов, связанные с его применением.  Преодолению этой проблемы может помочь применение машинного обучения для классификации синтаксических элементов "грамматики институтов".

Об этом статья "Machine Coding of Policy Texts with the Institutional Grammar", принятая к публикации в журнале «Public administration».

Обзор по ссылке.

Как выглядел бы современный спектр теорий оценок в виде линий метро? (Lemire, 2020)

Стресс-тестирование - это метод выявления недостатков программ и проектов на ранних этапах разработки и реализации.

Подход основан на двух предпосылках:
- программы должны быть устойчивы к негативным воздействиям внешней и внутренней среды;
- ведомства, ответственные за реализацию программ, как правило, не ориентированы на выявление их слабых сторон и акцентируют внимание лишь на реализации программы/проекта по изначально сформулированному плану.

Симуляция негативного воздействия внешней или внутренней среды до того, как реализуются шоки, должна помочь избежать избыточных расходов и снизить вероятность недостижения целей в реальных условиях.

Huey T. Chen et al. (2020). Proactive Evaluation: The Program Stress Test. American Journal of Evaluation. Issue 4

Появление метода синтетического контроля - это, вероятно, самая важная за последние два десятка лет инновация в оценке политик (policy evaluation). Так появление подхода описывают (Athey, Imbens, 2017).

По сути синтетический контроль напоминает одновременно разность-в-разностях и мэтчинг.

Краткое введение в теорию и практику использования синтетического контроля можно прочитать в книге Скотта Каннингема "Causal Inference: the mixtape".

Это отличный новый учебник по эконометрике, который отличается от других книг по causal inference (например, "Mostly harmless econometrics"):
- доступной он-лайн версией (ссылка)
- кодами примеров на Stata и R
- разделами с кратким введением в ориентированные ациклические графы (DAG) и причинно-следственную модель потенциальных результатов (potential outcomes causal model).

Семинар "Поведенческая экономика, nudge ("подталкивание") и госполитика: разговор с Ричардом Талером" (26.04. 6:00pm ET или 27.04. 1:00am по Москве) - о том, как повлияла поведенческая наука на процессы разработки государственной политики, в том числе, об интеллектуальном раскрытии данных и информации ("smart disclosure") - как предоставить гражданам более широкий доступ к данным, необходимым им для того, чтобы делать осознанный выбор в процессе принятия решений.

Эксперименты по оценке универсального базового дохода - хороший тест для доказательной социальной политики, иллюстрирующий конкретные сложности ее реализации на практике.

Дебаты о том, представляет ли собой универсальный базовый доход просто “раздачу денег” или инновационный способ организации социальной политики, продолжаются с завидной интенсивностью (десятки статей и монографии каждый год).

Но тут интересно посмотреть на то, как именно проводятся рандомизированные эксперименты с базовым доходом. По сути, ни один из рассмотренных экспериментов не оценивает универсальный базовый доход, выплачиваемый без проверок нуждаемости и без условий выплат.

Дилемма сводится к следующему: эксперименты с базовым доходом погружены в контур социальной политики, поэтому эксперименты должны соответствовать правилам, установленным не из научных соображений (вмешательство политики в границы науки). Но необходимость сохранения научной легитимности экспериментов диктует задачу отстаивания исследователями основных методологических аспектов при проведении эксперимента (вмешательство науки в границы политики).

Получить обоснованные оценки тех или иных интервенций - центральная задача доказательного подхода к принятию решений. Классическое допущение таких оценок - отсутствие интерференции эффектов между единицами анализа (людьми, предприятиями и т.д.), то есть потенциальный результат зависит исключительно от исследуемого воздействия на определенную единицу анализа и не зависит от воздействия на другие. Но во многих случаях такое предположение не выполняется. Например, в пространственном контексте важную роль играют механизмы распространения и диффузии эффектов.

Так, оценка причинно-следственных эффектов интервенций в области обеспечения качества воздуха сталкивается с проблемой интерференции, так как интервенции на уровне конкретного источника загрязнения (установка очистного оборудования на угольных электростанциях) будут оказывать влияние на качество воздуха и здоровье населения в различных местах, и при этом качество воздуха и здоровье в каждом конкретном месте будут затронуты эффектами различных интервенций на различных источниках загрязнения.

Интерференция причинно-следственных эффектов в этом случае объясняется сложными атмосферными процессами, определяющими, как переносятся в пространстве загрязнения воздуха из определенного источника, и имеет двучастную структуру: 1) единицы интервенций - например, угольные электростанции, на которых применяются или не применяются системы обработки выбросов загрязняющих веществ; и 2) единицы результатов, представляющие интерес, - госпитализации по программе Medicare среди 22 млн участников этой программы на уровне различных территориальных образований (единицы результатов).

Это исследование о влиянии установки систем обработки выбросов угольными электростанциями в США на здоровье населения (статья) подробно разбирается на последнем Online Causal Inference Seminar, одном из лучших научных семинаров по causal inference, оценке причинно-следственных эффектов.

Экономист Дэни Родрик: "На любой вопрос по поводу той или иной экономической политики правильным будет ответ: «В зависимости от обстоятельств». Нам нужны экономические факты и анализ, чтобы получить детали, от которых зависит желаемый конечный результат. Ключевые слова в действительно полезной экономической науке – непредвиденные обстоятельства, контекстуальность и неуниверсальность. Экономическая наука учит нас, что бывает время для бюджетной экспансии и время для бюджетного сжатия. Есть время, когда правительство должно вмешиваться в производственные цепочки, и время, когда оно должно оставить рынки в покое. Иногда налоги должны быть высокими, а иногда низкими. Торговля должна быть более свободной на одних направлениях, и регулироваться на других. Установление связей между обстоятельствами реального мира и желаемостью тех или иных видов государственного вмешательства – вот в чём экономика действительно хороша."

https://www.project-syndicate.org/commentary/economic-policy-must-abandon-universal-paradigms-by-dani-rodrik-2021-05

Надежность данных критична и для аудита (оценки), и для разработки мер государственной политики. Когда используется информация низкого качества, часть “мощности” инструментов госполитики по достижению цели будет теряться.

Использование информации высокого качества - точной, своевременной, репрезентативной, релевантной целям госполитики и доступной разработчикам дизайна госполитики - обеспечивает оптимальное соотношение между затратами на разработку мер (решений) и вероятностью достижения цели, то есть обеспечивает пропорциональность дизайна госполитики.

О различных ситуациях отклонения от оптимальности этого соотношения (недостаточный и избыточный дизайн) по ссылке.

https://telegra.ph/Nedostatochnyj-i-izbytochnyj-dizajn-gospolitiki-vzglyad-s-tochki-zreniya-kachestva-informacii-05-20

Мы в Счетной палате запустили конкурс практик и инициатив по доказательной политике среди федеральных государственных органов, органов государственной власти субъектов Российской Федерации, органов местного самоуправления, а также отдельных команд (коллективов) государственных служащих.

Подробности и форма заявки по ссылке.

Еще сформулировали шесть базовых и наиболее важных для российской системы стратегического управления принципов доказательной политики:

1. Использовать результаты научных исследований, систематических обзоров, результаты моделирования и прогнозирования на основе надежных данных, определять и вовлекать заинтересованные стороны для формализации проблем, требующих государственного вмешательства.

2. Выбирать оптимальные механизмы государственной политики по итогам приоритизации широкого круга возможных альтернатив.

3. Проводить пилоты и эксперименты по реализации мер государственной политики (включая рандомизированные контролируемые эксперименты) для надежного тестирования результативности мер государственной политики.

4. Формировать информативные программные документы стратегического планирования и отчетность по ним на основе измеримых целей, прозрачной и задокументированной теории изменений, расчетов издержек и сроков с учетом ошибки оптимистичности планирования.

5. Проводить оценку воздействия для получения доказательств высокого качества результативности мер государственной политики (проектов, программ).

6. Использовать доказательства высокого качества для принятия управленческих решений в ходе бюджетного процесса, масштабирования мер (проектов) с доказанными эффектами, прекращения реализации мер (проектов) с доказанной неэффективностью.

Проводим в последний день весны (31 мая в 18:00 мск) в рамках гЛокальной недели оценки открытый семинар “Микросимуляционное моделирование как инструмент оценки социальной политики”.

На семинаре обсудим особенности микросимуляционного подхода к моделированию и прогнозированию доходов, оценке бедности и неравенства доходов.

Александр Горюнов (главный инспектор, Департамент исследований и методологии) расскажет о квазидинамической микросимуляционной модели и ее применении для оценки перспектив достижения национальной цели двукратного сокращения уровня бедности к 2030-му году и анализа эффективности различных вариантов социальных трансфертов в контексте достижения этой цели.

Поделятся с участниками опытом и на примерах покажут роль оценки при принятии решений Дарья Попова (Университет Эссекса) и Михаил Матыцин (Всемирный Банк). Они расскажут о модели RUSMOD и оценке перераспределительных эффектов антикризисных мер социальной поддержки в России.

В обсуждении примут участие:
- Дарья Цыплакова, директор департамента исследований и методологии Счетной палаты Российской Федерации.
- Андрей Малокостов, главный инспектор департамента исследований и методологии Счетной палаты Российской Федерации.
- Марина Карцева, старший научный сотрудник Института социального анализа и прогнозирования РАНХиГС при Президенте Российской Федерации.
- Ольга Растрыгина, экономист ОЭСР.
- Елена Андреева, старший научный сотрудник НИФИ Министерства финансов Российской Федерации.
- Анастасия Ким, заместитель начальника инспекции по аудиту национальных целей департамента исследований и методологии Счетной палаты Российской Федерации

Семинар пройдет 31 мая 2021 года в 18:00 мск на русском языке с синхронным переводом на английский.

Для регистрации, пожалуйста, заполните форму: https://forms.gle/LnYR55esaNdtDuZb8

гЛокальная неделя оценки (gLocal Evaluation Week) будет проходить с 31 мая по 4 июня 2021. Это неделя панельных дискуссий и семинаров под эгидой Глобальной инициативы по оценке (Global Evaluation Initiative) о методологии оценивания и мониторинга программ и политики на глобальном и локальном уровнях.

https://ach.gov.ru/news/instrument-otsenki-sotsialnoy-politiki-schetnaya-palata-priglashaet-na-otkrytyy-seminar

Использование результатов научных исследований повышает эффективность государственных проектов и программ. Но при этом чиновники редко используют результаты исследований в процессе разработки и реализации государственных политик.

Как механизмы подотчетности могут способствовать внедрению доказательной политики? Модель принципал-агента подсказывает 4 таких административных механизма:
- скриниг (экзамены госслужащих);
- мониторинг (контроль за деятельностью);
- автономию (независимость при выполнении задач);
- позитивные и негативные стимулы (например, премирование).

На основе анализа данных опросов чиновников из Перу и Индии можно увидеть, что различные механизмы подотчетности положительно коррелированы с уровнем использования доказательств в работе чиновников. А вот решение проблемы доступности для чиновников информации о доказательных практиках само по себе не может повысить использование доказательств.

Статья: Celeste Beesley, Darren Hawkins, Nicholas Moffitt (2021). What leads government officials to use impact evidence? Journal of Public Policy

https://telegra.ph/CHto-stimuliruet-gosudarstvennyh-sluzhashchih-ispolzovat-dokazatelstva-pri-prinyatii-reshenij-06-22

Часто при обсуждении развития доказательной политики говорим об использовании строгих методов оценки влияния проектов. Это квази-экспериментальные статистические или даже экспериментальные методы.

Помимо требований к ресурсам, такие методы могут иметь юридические и этические ограничения, и зачастую они сложно подстраиваются:
- под задачи формирующей оценки (когда оценка проводится для корректировки дизайна проекта или хода его реализации);
- под задачи адаптивной оценки (когда оценка проводится для разработки новых подходов в сложной и меняющейся среде).

Затраты при использовании ряда методов оценки влияния порой могут превосходить ресурсные возможности, и в итоге многие составляющие влияния государственных программ остаются вне наблюдения в течение десятилетий.

В качестве подхода к оценке влияния в условиях, когда иные методы не применимы, можно использовать теоретически обоснованный подход экспресс-оценки (rapid impact evaluation, RIE), который отличается низкой стоимостью и высокой адаптивностью под конкретные задачи.

Подход экспресс-оценки RIE включает три новых составляющих:

1) Упрощенная результирующая метрика влияния, основанная на предположении, что основными показателями эффекта являются вероятность наступления эффекта и его величина.
2) Сценарные контрфактические предположения на основе рассмотрения сценария реализации альтернативных мер, которые при этом являются осуществимыми, возможными, эффективными, законными и этичными (например, тех мер, которые реализуются в аналогичных условиях или рассматривались в ходе принятия решения о выборе данной меры).
3) Подход, основанный на учете интересов и взглядов стейкхолдеров, исходит из того, что каждая группа стейкхолдеров имеет свой взгляд на реализацию меры и соответственно свой канал влияния на ее реализацию.

Про механику экспресс-оценок и аргументацию их валидности написали по ссылке ниже.

https://telegra.ph/EHkspress-ocenka-vliyaniya-chto-delat-v-sluchae-kogda-strogie-ocenki-vliyaniya-provesti-nelzya-07-07