Задачу проведения доказательной политики в государственном секторе осложняет отсутствие единого стандарта для идентификации и интеграции научных фактов в процесс принятия решений.

В качестве стандарта для оценки качества доказательств предлагается система THEARI:
- theoretical
- empirical
- applicable
- replicable
- impact.

Система основана на оценке доказательств по пятибалльной шкале в зависимости от уровня валидации. Чем выше уровень валидации, тем в большей степени доказательство подходит для интеграции в процесс принятия управленческих решений.

Об этом статья Катрин Оливер (профессор социологии и здравоохранения Лондонской школы гигиены и тропической медицины) и Анетт Боаз (профессор Кингстонского университета) «Стандарты фактов для принятия решений в сфере государственной политики», опубликованная в академическом журнале Palgrave Communications.

Обзор по ссылке.

Для преодоления глобальных кризисов необходимы системные трансформационные изменения, для управления ими - их качественная оценка. Стандартные критерии для оценки программ и проектов не отвечают изменениям такого глобального масштаба. В связи с этим актуален вопрос выработки гибких и легко модицифицируемых под конкретные задачи критериев оценки масштабных системных трансформаций, а также апробация этих критериев на примере трансформаций в ответ на кризис после пандемии коронавируса и в рамках реформы глобальной продовольственной системы.

Об этом статья Майкла Пэттона (ведущего специалиста по прикладной оценке) "Критерии оценки трансформации: значение в контексте пандемии коронавируса и изменения климата" , опубликованная на сайте журнала American Journal of Evaluation.

Обзор статьи по ссылке.

"Грамматика институтов" - это подход к анализу институтов через фокус на синтаксических структурных элементах, которые составляют и формируют институты, воплощенные в языковой форме. К таким институтам относятся государственные политики, стратегии, законы и нормы. 

Подход был предложен Сью Кроуфорд и Элионор Остром еще в 1995 году. Вместе с тем, распространению “грамматики институтов” препятствуют значительные затраты времени и ресурсов, связанные с его применением.  Преодолению этой проблемы может помочь применение машинного обучения для классификации синтаксических элементов "грамматики институтов".

Об этом статья "Machine Coding of Policy Texts with the Institutional Grammar", принятая к публикации в журнале «Public administration».

Обзор по ссылке.

Как выглядел бы современный спектр теорий оценок в виде линий метро? (Lemire, 2020)

Стресс-тестирование - это метод выявления недостатков программ и проектов на ранних этапах разработки и реализации.

Подход основан на двух предпосылках:
- программы должны быть устойчивы к негативным воздействиям внешней и внутренней среды;
- ведомства, ответственные за реализацию программ, как правило, не ориентированы на выявление их слабых сторон и акцентируют внимание лишь на реализации программы/проекта по изначально сформулированному плану.

Симуляция негативного воздействия внешней или внутренней среды до того, как реализуются шоки, должна помочь избежать избыточных расходов и снизить вероятность недостижения целей в реальных условиях.

Huey T. Chen et al. (2020). Proactive Evaluation: The Program Stress Test. American Journal of Evaluation. Issue 4

Появление метода синтетического контроля - это, вероятно, самая важная за последние два десятка лет инновация в оценке политик (policy evaluation). Так появление подхода описывают (Athey, Imbens, 2017).

По сути синтетический контроль напоминает одновременно разность-в-разностях и мэтчинг.

Краткое введение в теорию и практику использования синтетического контроля можно прочитать в книге Скотта Каннингема "Causal Inference: the mixtape".

Это отличный новый учебник по эконометрике, который отличается от других книг по causal inference (например, "Mostly harmless econometrics"):
- доступной он-лайн версией (ссылка)
- кодами примеров на Stata и R
- разделами с кратким введением в ориентированные ациклические графы (DAG) и причинно-следственную модель потенциальных результатов (potential outcomes causal model).

Семинар "Поведенческая экономика, nudge ("подталкивание") и госполитика: разговор с Ричардом Талером" (26.04. 6:00pm ET или 27.04. 1:00am по Москве) - о том, как повлияла поведенческая наука на процессы разработки государственной политики, в том числе, об интеллектуальном раскрытии данных и информации ("smart disclosure") - как предоставить гражданам более широкий доступ к данным, необходимым им для того, чтобы делать осознанный выбор в процессе принятия решений.

Эксперименты по оценке универсального базового дохода - хороший тест для доказательной социальной политики, иллюстрирующий конкретные сложности ее реализации на практике.

Дебаты о том, представляет ли собой универсальный базовый доход просто “раздачу денег” или инновационный способ организации социальной политики, продолжаются с завидной интенсивностью (десятки статей и монографии каждый год).

Но тут интересно посмотреть на то, как именно проводятся рандомизированные эксперименты с базовым доходом. По сути, ни один из рассмотренных экспериментов не оценивает универсальный базовый доход, выплачиваемый без проверок нуждаемости и без условий выплат.

Дилемма сводится к следующему: эксперименты с базовым доходом погружены в контур социальной политики, поэтому эксперименты должны соответствовать правилам, установленным не из научных соображений (вмешательство политики в границы науки). Но необходимость сохранения научной легитимности экспериментов диктует задачу отстаивания исследователями основных методологических аспектов при проведении эксперимента (вмешательство науки в границы политики).

Получить обоснованные оценки тех или иных интервенций - центральная задача доказательного подхода к принятию решений. Классическое допущение таких оценок - отсутствие интерференции эффектов между единицами анализа (людьми, предприятиями и т.д.), то есть потенциальный результат зависит исключительно от исследуемого воздействия на определенную единицу анализа и не зависит от воздействия на другие. Но во многих случаях такое предположение не выполняется. Например, в пространственном контексте важную роль играют механизмы распространения и диффузии эффектов.

Так, оценка причинно-следственных эффектов интервенций в области обеспечения качества воздуха сталкивается с проблемой интерференции, так как интервенции на уровне конкретного источника загрязнения (установка очистного оборудования на угольных электростанциях) будут оказывать влияние на качество воздуха и здоровье населения в различных местах, и при этом качество воздуха и здоровье в каждом конкретном месте будут затронуты эффектами различных интервенций на различных источниках загрязнения.

Интерференция причинно-следственных эффектов в этом случае объясняется сложными атмосферными процессами, определяющими, как переносятся в пространстве загрязнения воздуха из определенного источника, и имеет двучастную структуру: 1) единицы интервенций - например, угольные электростанции, на которых применяются или не применяются системы обработки выбросов загрязняющих веществ; и 2) единицы результатов, представляющие интерес, - госпитализации по программе Medicare среди 22 млн участников этой программы на уровне различных территориальных образований (единицы результатов).

Это исследование о влиянии установки систем обработки выбросов угольными электростанциями в США на здоровье населения (статья) подробно разбирается на последнем Online Causal Inference Seminar, одном из лучших научных семинаров по causal inference, оценке причинно-следственных эффектов.

Экономист Дэни Родрик: "На любой вопрос по поводу той или иной экономической политики правильным будет ответ: «В зависимости от обстоятельств». Нам нужны экономические факты и анализ, чтобы получить детали, от которых зависит желаемый конечный результат. Ключевые слова в действительно полезной экономической науке – непредвиденные обстоятельства, контекстуальность и неуниверсальность. Экономическая наука учит нас, что бывает время для бюджетной экспансии и время для бюджетного сжатия. Есть время, когда правительство должно вмешиваться в производственные цепочки, и время, когда оно должно оставить рынки в покое. Иногда налоги должны быть высокими, а иногда низкими. Торговля должна быть более свободной на одних направлениях, и регулироваться на других. Установление связей между обстоятельствами реального мира и желаемостью тех или иных видов государственного вмешательства – вот в чём экономика действительно хороша."

https://www.project-syndicate.org/commentary/economic-policy-must-abandon-universal-paradigms-by-dani-rodrik-2021-05

Надежность данных критична и для аудита (оценки), и для разработки мер государственной политики. Когда используется информация низкого качества, часть “мощности” инструментов госполитики по достижению цели будет теряться.

Использование информации высокого качества - точной, своевременной, репрезентативной, релевантной целям госполитики и доступной разработчикам дизайна госполитики - обеспечивает оптимальное соотношение между затратами на разработку мер (решений) и вероятностью достижения цели, то есть обеспечивает пропорциональность дизайна госполитики.

О различных ситуациях отклонения от оптимальности этого соотношения (недостаточный и избыточный дизайн) по ссылке.

https://telegra.ph/Nedostatochnyj-i-izbytochnyj-dizajn-gospolitiki-vzglyad-s-tochki-zreniya-kachestva-informacii-05-20