Летом 2022 года, лучшие умы планеты — «суперпрогнозисты» и ведущие отраслевые эксперты — собрались на турнир, чтобы предсказать будущее на ближайшие 2-3 года
Они делали ставки на прогнозы экзистенциальных рисков для человечества
И уже тогда было очевидно, что один из таких рисков – бурный прогресс в области Ml
И вот сегодня вышел новый отчет, анализирующий точность тех прогнозов (Assessing Near-Term Accuracy in the Existential Risk Persuasion Tournament)
Все прогнозы провалились
Масштаб недооценки поражает
Математические способности (MATH Dataset):
• Ml достиг 87.8 % в апреле 2024
• Эксперты давали вероятности этого 21 %
• Суперпрогнозисты — 9 %
Общие знания (MMLU):
• Ml набрал 88.7 % к середине 2024
• Эксперты оценивали это в 25 %
• Суперпрогнозисты - давали 7 %
Математическая олимпиада:
• Ml получил золото в июле 2025
• Эксперты думали это случится после 2030
• Суперпрогнозисты — после 2035
• Вероятность, что это случится в 2025, была, по их мнению - 8.6 % и 2.3 %
Вычислительная мощность:
• Суперпрогнозисты недооценили в 5 РАЗ
Что это означает
Турнир закончился ДО выхода ChatGPT в ноябре 2022
Началась фаза технологической сингулярности: скорость прогресса стала настолько высокой, что любые прогнозы теряют смысл из-за систематических недооценок
Малоприятный вывод
Если лучшие эксперты мира недооценивают скорость развития ИИ в 5-10 раз, то:
Тогда вопрос на много триллионов $
Ведь если даже лучшие эксперты не могут предсказать прогресс на 2 года вперёд, может быть, пора признать, что никто больше не контролирует скорость происходящего?
Отчет — первое реальное доказательство этого
Они делали ставки на прогнозы экзистенциальных рисков для человечества
И уже тогда было очевидно, что один из таких рисков – бурный прогресс в области Ml
И вот сегодня вышел новый отчет, анализирующий точность тех прогнозов (Assessing Near-Term Accuracy in the Existential Risk Persuasion Tournament)
Все прогнозы провалились
Масштаб недооценки поражает
Математические способности (MATH Dataset):
• Ml достиг 87.8 % в апреле 2024
• Эксперты давали вероятности этого 21 %
• Суперпрогнозисты — 9 %
Общие знания (MMLU):
• Ml набрал 88.7 % к середине 2024
• Эксперты оценивали это в 25 %
• Суперпрогнозисты - давали 7 %
Математическая олимпиада:
• Ml получил золото в июле 2025
• Эксперты думали это случится после 2030
• Суперпрогнозисты — после 2035
• Вероятность, что это случится в 2025, была, по их мнению - 8.6 % и 2.3 %
Вычислительная мощность:
• Суперпрогнозисты недооценили в 5 РАЗ
Что это означает
Турнир закончился ДО выхода ChatGPT в ноябре 2022
Началась фаза технологической сингулярности: скорость прогресса стала настолько высокой, что любые прогнозы теряют смысл из-за систематических недооценок
Малоприятный вывод
Если лучшие эксперты мира недооценивают скорость развития ИИ в 5-10 раз, то:
текущие прогнозы достижения человеческого уровня к 2030 году (типа «мягкой сингулярности Сэма Альтмана»), могут осуществиться уже в 2026
Тогда вопрос на много триллионов $
Готовы ли люди к тому, что Ml человеческого уровня появится не через 5 лет, а через год?
Ведь если даже лучшие эксперты не могут предсказать прогресс на 2 года вперёд, может быть, пора признать, что никто больше не контролирует скорость происходящего?
Отчет — первое реальное доказательство этого
Сравнивались суперфоркастеры, доменные эксперты, не-доменные эксперты и X-риск генералисты
Суперфоркастеры и доменные эксперты сильно превзошли образованную публику, и в целом равны между собой
Также продемонстрирована wisdom of crowds, когда агрегированное мнение лучше одиночных
Интересно про прогресс в AI, он недооценены, особенно суперфоркастерами
Самый большой сюрприз на международной математической олимпиаде (IMO), которую тут недавно все анонсировали, здесь медиана предсказателей была 2030-2035
Прогресс в климатических технологиях наоборот переоценен
Нашёл здесь
Сам репорт тут:
First Wave Forecasting Accuracy Results from the Existential Risk Persuasion Tournament
https://forecastingresearch.org/near-term-xpt-accuracy
Отдельно интересно приложение A5.1 Distributions for AI-Related Questions
Суперфоркастеры и доменные эксперты сильно превзошли образованную публику, и в целом равны между собой
Также продемонстрирована wisdom of crowds, когда агрегированное мнение лучше одиночных
Интересно про прогресс в AI, он недооценены, особенно суперфоркастерами
Самый большой сюрприз на международной математической олимпиаде (IMO), которую тут недавно все анонсировали, здесь медиана предсказателей была 2030-2035
Прогресс в климатических технологиях наоборот переоценен
Нашёл здесь
Сам репорт тут:
First Wave Forecasting Accuracy Results from the Existential Risk Persuasion Tournament
https://forecastingresearch.org/near-term-xpt-accuracy
Отдельно интересно приложение A5.1 Distributions for AI-Related Questions
Существуют математические теоремы, которые в настоящее время имеют только „внешние“ решения, потому что они остаются все еще слишком сложными для конструктивного понимания
Примерами их являются некоторые случаи так называемого доказательства от противного, непрямого доказательства, в котором используется принцип исключенного третьего, показывающий, что принятие противоположной посылки невозможно, поскольку оно ведет к противоречию
Но такое доказательство не позволяет понять, как конструктивно достигается позитивное решение (Брауэр презрительно называл такие непрямые доказательства „позвоночным мышлением“)
Насколько обоснованно требование не признавать результаты, _которые могут быть получены только таким способом_
Существует огромное различие между осмысленным решением, основанным на понимании сущности задачи, и решением, совершаемым посредством внешних действий
Примерами их являются некоторые случаи так называемого доказательства от противного, непрямого доказательства, в котором используется принцип исключенного третьего, показывающий, что принятие противоположной посылки невозможно, поскольку оно ведет к противоречию
Но такое доказательство не позволяет понять, как конструктивно достигается позитивное решение (Брауэр презрительно называл такие непрямые доказательства „позвоночным мышлением“)
Насколько обоснованно требование не признавать результаты, _которые могут быть получены только таким способом_
Существует огромное различие между осмысленным решением, основанным на понимании сущности задачи, и решением, совершаемым посредством внешних действий