Восьмикратный прорыв в борьбе с хаосом за точность предсказаний
Предсказание (прогноз) – это предположение о том, что произойдет в будущем.
Предсказать месторасположение бильярдного шара через полсекунды после вашего удара по нему – не самая сложная задача, если на столе всего 1 шар. Если же шаров 16 – это уже сложнее. Еще сложнее предсказать на 2 сек.
Т.о. самим фактом точного предсказания не удивишь. Наш мозг занимается этим постоянно и весьма в этом преуспел.
Вызов в том, чтобы научиться предсказывать с удовлетворительной точностью:
✔️ поведение сложных систем;
✔️ на значительном горизонте прогнозирования.
Иллюстрацией немыслимой и, казалось бы, непреодолимой сложности данного вызова является «эффект бабочки».
Еще первооткрыватели теории хаоса установили, что «эффект бабочки» сводит к нулю возможности долгосрочного предсказания поведения сложных систем. Малейшее возмущение такой системы (погоды, экономики и пр.) способно породить цепную реакцию последствий, в результате чего будущее окажется совсем иным. Этот туман неопределённости в поведении сложных систем – вот уже десятки лет является главной проблемой на пути к надёжным предсказаниям.
Ситуация усугубляется тем, что:
— в хаотическое состояние, предсказать поведение системы невозможно;
— хаотические системы встречаются в природе повсюду (от погоды и лесных пожаров до сердечных аритмий и лавин нейронных спайков (импульсов) при возбуждении нейронов головного мозга);
— но, как ни странно, до сих пор неясно, что такое хаос (у понятия хаоса нет общепринятого математического определения и нет перечня необходимых и достаточных условий возникновения хаотического состояния).
Есть математическое понятие - время Ляпунова. Это время, за которое система переходит к полному хаосу. По сути, это и есть горизонт прогнозирования, дальше которого продвинуться в предсказании невозможно.
У разных систем разное время Ляпунова: от миллисекунд до миллионов лет (для погоды, как мы все знаем, - несколько дней). Чем короче это время, тем более чувствительна или более склонна к эффекту бабочки система, тем стремительней её исходные состояния расходятся в периоды кризиса.
Все вышесказанное – необходимая для понимания преамбула. Теперь перехожу к главному - восьмикратному прорыву в предсказании будущего.
Восьмикратный прорыв в борьбе с хаосом за точность предсказаний достигнут за счет новаторского подхода в применении машинного обучения.
Еще в конце 90-х был придуман особый тип нейронных сетей, объединяемых под общим названием резервуарные вычисления Reservoir Computing (что это такое, можете за 1 мин. прочесть под катом ниже).
Главное же отличие от классических всем нам известных нейронок в том, что этот тип нейронных сетей на много порядков упрощает и ускоряет машинное обучение.
✔️ С помощью Reservoir Computing получается спрогнозировать поведение системы при восьмикратно увеличенном горизонте прогнозирования (для восьми времен Ляпунова).
Выражаясь нестрого, удается заглянуть в восемь раз дальше по сравнению с тем, что позволяют другие методы прогнозирования.
Для достижения подобного результата на классических нейронных сетях, потребовалось бы измерять исходное состояние типичной системы в 100 000 000 раз точнее, чем при резервуарном вычислении. Что не очень реально.
Авторы данной работы экспериментировали с архетипической пространственно-временной хаотической системой, описываемой «уравнением Курамото — Сивашинского». Она подобна фронту пламени, мерцающему при прохождении через горючую среду (см. Gif в статье под катом ниже). Это же уравнение описывает дрейфовые волны в плазме и много-много других физических явлений и посему служит «испытательным стендом для изучения турбулентности и пространственно-временного хаоса».
Представляете точный прогноз погоды, но уже не на пару дней, а на пару недель?
Подробней на русском https://goo.gl/CRaswe (там же ссылка на оригинал и все нужные ссылки на научные работы).
Что такое Резервуарные вычисления https://goo.gl/kfVttB
#Предсказания #Хаос #РезервуарныеВычисления #МашинноеОбучение
Предсказание (прогноз) – это предположение о том, что произойдет в будущем.
Предсказать месторасположение бильярдного шара через полсекунды после вашего удара по нему – не самая сложная задача, если на столе всего 1 шар. Если же шаров 16 – это уже сложнее. Еще сложнее предсказать на 2 сек.
Т.о. самим фактом точного предсказания не удивишь. Наш мозг занимается этим постоянно и весьма в этом преуспел.
Вызов в том, чтобы научиться предсказывать с удовлетворительной точностью:
✔️ поведение сложных систем;
✔️ на значительном горизонте прогнозирования.
Иллюстрацией немыслимой и, казалось бы, непреодолимой сложности данного вызова является «эффект бабочки».
Еще первооткрыватели теории хаоса установили, что «эффект бабочки» сводит к нулю возможности долгосрочного предсказания поведения сложных систем. Малейшее возмущение такой системы (погоды, экономики и пр.) способно породить цепную реакцию последствий, в результате чего будущее окажется совсем иным. Этот туман неопределённости в поведении сложных систем – вот уже десятки лет является главной проблемой на пути к надёжным предсказаниям.
Ситуация усугубляется тем, что:
— в хаотическое состояние, предсказать поведение системы невозможно;
— хаотические системы встречаются в природе повсюду (от погоды и лесных пожаров до сердечных аритмий и лавин нейронных спайков (импульсов) при возбуждении нейронов головного мозга);
— но, как ни странно, до сих пор неясно, что такое хаос (у понятия хаоса нет общепринятого математического определения и нет перечня необходимых и достаточных условий возникновения хаотического состояния).
Есть математическое понятие - время Ляпунова. Это время, за которое система переходит к полному хаосу. По сути, это и есть горизонт прогнозирования, дальше которого продвинуться в предсказании невозможно.
У разных систем разное время Ляпунова: от миллисекунд до миллионов лет (для погоды, как мы все знаем, - несколько дней). Чем короче это время, тем более чувствительна или более склонна к эффекту бабочки система, тем стремительней её исходные состояния расходятся в периоды кризиса.
Все вышесказанное – необходимая для понимания преамбула. Теперь перехожу к главному - восьмикратному прорыву в предсказании будущего.
Восьмикратный прорыв в борьбе с хаосом за точность предсказаний достигнут за счет новаторского подхода в применении машинного обучения.
Еще в конце 90-х был придуман особый тип нейронных сетей, объединяемых под общим названием резервуарные вычисления Reservoir Computing (что это такое, можете за 1 мин. прочесть под катом ниже).
Главное же отличие от классических всем нам известных нейронок в том, что этот тип нейронных сетей на много порядков упрощает и ускоряет машинное обучение.
✔️ С помощью Reservoir Computing получается спрогнозировать поведение системы при восьмикратно увеличенном горизонте прогнозирования (для восьми времен Ляпунова).
Выражаясь нестрого, удается заглянуть в восемь раз дальше по сравнению с тем, что позволяют другие методы прогнозирования.
Для достижения подобного результата на классических нейронных сетях, потребовалось бы измерять исходное состояние типичной системы в 100 000 000 раз точнее, чем при резервуарном вычислении. Что не очень реально.
Авторы данной работы экспериментировали с архетипической пространственно-временной хаотической системой, описываемой «уравнением Курамото — Сивашинского». Она подобна фронту пламени, мерцающему при прохождении через горючую среду (см. Gif в статье под катом ниже). Это же уравнение описывает дрейфовые волны в плазме и много-много других физических явлений и посему служит «испытательным стендом для изучения турбулентности и пространственно-временного хаоса».
Представляете точный прогноз погоды, но уже не на пару дней, а на пару недель?
Подробней на русском https://goo.gl/CRaswe (там же ссылка на оригинал и все нужные ссылки на научные работы).
Что такое Резервуарные вычисления https://goo.gl/kfVttB
#Предсказания #Хаос #РезервуарныеВычисления #МашинноеОбучение
XX2 век
«Удивительная» способность машинного обучения предсказывать хаос
Полвека назад пионеры теории хаоса обнаружили, что «эффект бабочки» делает невозможным долгосрочное предсказание. Малейшее возмущение сложной системы (например, погоды, экономики или чего-то подобного) способно спровоцировать цепную реакцию, в результате…
Интеллект из хаоса: как сложные системы рождают разум.
Нейросети могут научиться думать и без человеческого опыта.
Мы до сих пор не знаем, как рождается интеллект - любой интеллект:
• от милипизерного интеллекта крохотной Нематоды с ее 300 нейронами
• до интеллекта венца природы Homo sapiens с его 76 млрд нейронов.
С появлением генеративного интеллекта машин, этот вопрос не только не прояснился, а лишь еще больше запутался.
Теперь мы не знаем, как рождается
✔️ не только, естественный (биологический) интеллект,
✔️ но и искусственный (машинный) интеллект тоже.
Ибо единственное, что мы до сих пор знали про рождение интеллекта у моделей генИИ, - что он каким-то загадочным образом появляется в результате способности моделей предсказывать следующий токен (напр. символ или слово). Для этого модель использует колоссальных объемов статистику вероятностей встречающихся паттернов токенов, извлекаемую ею из предоставленных ей гигантских корпусов обучающих данных.
Так что ж получается – интеллект рождается из данных?
И достаточно, собрав чертову тучу данных, заложить в машину логические правила извлечения из них статистики паттернов?
А потом вуаля, - интеллект сам заведется, как тараканы на немытой кухне?
Не совсем так.
Новая весьма интересная работа молодых исследователей универов Йеля, Нортуэстерна и Айдахо выносит ответ на этот вопрос в свой заголовок - интеллект возникает на грани хаоса.
Заинтересованный читатель может продолжить чтение о том,
• что и как было сделано авторами работы «Интеллект на грани хаоса»,
• каковы 2 главных вывода этого исследования,
• какая интригующая эвристическая гипотеза напрашивается из этой работы,
• что думают мои персональные ИИ-консультанты по поводу моей гипотезы и прочих высказанных мною в тексте поста спекулятивных предположений, выходящих за границы современной науки, -
на платформах Boosty, Patreon и VK (в разделе для подписчиков моих лонгридов)
https://boosty.to/theworldisnoteasy/posts/7139c66c-ff70-4a2b-a5cc-e8ef870041af
https://www.patreon.com/posts/intellekt-iz-kak-113793549
https://vk.com/@-226218451-intellekt-iz-haosa-kak-slozhnye-sistemy-rozhdaut-razum
#Интеллект #Хаос
Нейросети могут научиться думать и без человеческого опыта.
Мы до сих пор не знаем, как рождается интеллект - любой интеллект:
• от милипизерного интеллекта крохотной Нематоды с ее 300 нейронами
• до интеллекта венца природы Homo sapiens с его 76 млрд нейронов.
С появлением генеративного интеллекта машин, этот вопрос не только не прояснился, а лишь еще больше запутался.
Теперь мы не знаем, как рождается
✔️ не только, естественный (биологический) интеллект,
✔️ но и искусственный (машинный) интеллект тоже.
Ибо единственное, что мы до сих пор знали про рождение интеллекта у моделей генИИ, - что он каким-то загадочным образом появляется в результате способности моделей предсказывать следующий токен (напр. символ или слово). Для этого модель использует колоссальных объемов статистику вероятностей встречающихся паттернов токенов, извлекаемую ею из предоставленных ей гигантских корпусов обучающих данных.
Так что ж получается – интеллект рождается из данных?
И достаточно, собрав чертову тучу данных, заложить в машину логические правила извлечения из них статистики паттернов?
А потом вуаля, - интеллект сам заведется, как тараканы на немытой кухне?
Не совсем так.
Новая весьма интересная работа молодых исследователей универов Йеля, Нортуэстерна и Айдахо выносит ответ на этот вопрос в свой заголовок - интеллект возникает на грани хаоса.
Заинтересованный читатель может продолжить чтение о том,
• что и как было сделано авторами работы «Интеллект на грани хаоса»,
• каковы 2 главных вывода этого исследования,
• какая интригующая эвристическая гипотеза напрашивается из этой работы,
• что думают мои персональные ИИ-консультанты по поводу моей гипотезы и прочих высказанных мною в тексте поста спекулятивных предположений, выходящих за границы современной науки, -
на платформах Boosty, Patreon и VK (в разделе для подписчиков моих лонгридов)
https://boosty.to/theworldisnoteasy/posts/7139c66c-ff70-4a2b-a5cc-e8ef870041af
https://www.patreon.com/posts/intellekt-iz-kak-113793549
https://vk.com/@-226218451-intellekt-iz-haosa-kak-slozhnye-sistemy-rozhdaut-razum
#Интеллект #Хаос
boosty.to
Интеллект из хаоса: как сложные системы рождают разум - Малоизвестное интересное
Нейросети могут научиться думать и без человеческого опыта