Генетическая книга мертвых
Это новая рубрика канала – Стартапы Ближайшего Будущего (СББ).
В ней рассказывается о перспективных, но пока что не застолбленных направлениях на стыках самых продвинутых существующих технологий и самых недооцененных (пока что) научных идей.
Стык 1й: Эволюционная Генетика и Глубокое обучение.
В качестве наиболее важной для широкого осмысления концепции, знаменитый эволюционный биолог Ричард Докинз назвал создание Генетической книги мертвых https://goo.gl/JRj2ZZ .
Дело в том, что природа наделяет каждое живое существо набором генов, сформированным у его предков для оптимального выживания в их среде обитания.
«Приспособление» животного, его анатомические детали, инстинкты и внутренняя биохимия – все это генетический набор ключей, точно соответствующих отпираемым замкам – конкретным средам обитания.
Зная каков ключ, можно восстановить устройство замка. Т.е. восстановить всю последовательность сред обитания, в которой жили и выжили предки любого живого существа.
Некоторые из таких генетических ключей очевидны. Например, гены перепончатых ног, открывают замок водной среды обитания.
Однако большинство из ключей совершенно неочевидны, и человеческой логикой их замки не понять.
А что, если использовать нейронные сети?
Например.
Собрать классификационный список млекопитающих, живущих в воде: киты, тюлени, водные землеройки, выдры, и т. д.
Аналогичный список млекопитающих, живущих в пустынях: верблюды, лисицы пустыни, тушканчики и т. д.
Другой список - млекопитающих, живущих по деревьям: обезьяны, белки, коалы и т. д.
Еще один список - живущих под землей: кроты, слепыши и т.д.
Потом взять и для каждого из списков выделить как можно больше отличительных особенностей: морфологических, биохимических и генетических.
А затем запустить нейронную сеть, чтобы она нашла все паттерны генетических особенностей, что имеют животные каждой из сред обитания.
И тогда мы получим Генетическую книгу мертвых – всех видов, когда-либо существовавших на земле в ходе эволюции.
Эта книга может дать просто бесценное понимание процессов и механизмов эволюционной генетики.
Первые научные работы в этом направлении только появляются (напр. https://goo.gl/cKM1B4 )
Но никто на свете этим пока что серьезно не озадачился.
А ведь перспективный стартап можно сделать. Ведь данные Генетической книги мертвых могли бы здорово пригодиться в медицине и фармакологии.
#СББ #ЭволюционнаяГенетика #ГлубокоеОбучение
Это новая рубрика канала – Стартапы Ближайшего Будущего (СББ).
В ней рассказывается о перспективных, но пока что не застолбленных направлениях на стыках самых продвинутых существующих технологий и самых недооцененных (пока что) научных идей.
Стык 1й: Эволюционная Генетика и Глубокое обучение.
В качестве наиболее важной для широкого осмысления концепции, знаменитый эволюционный биолог Ричард Докинз назвал создание Генетической книги мертвых https://goo.gl/JRj2ZZ .
Дело в том, что природа наделяет каждое живое существо набором генов, сформированным у его предков для оптимального выживания в их среде обитания.
«Приспособление» животного, его анатомические детали, инстинкты и внутренняя биохимия – все это генетический набор ключей, точно соответствующих отпираемым замкам – конкретным средам обитания.
Зная каков ключ, можно восстановить устройство замка. Т.е. восстановить всю последовательность сред обитания, в которой жили и выжили предки любого живого существа.
Некоторые из таких генетических ключей очевидны. Например, гены перепончатых ног, открывают замок водной среды обитания.
Однако большинство из ключей совершенно неочевидны, и человеческой логикой их замки не понять.
А что, если использовать нейронные сети?
Например.
Собрать классификационный список млекопитающих, живущих в воде: киты, тюлени, водные землеройки, выдры, и т. д.
Аналогичный список млекопитающих, живущих в пустынях: верблюды, лисицы пустыни, тушканчики и т. д.
Другой список - млекопитающих, живущих по деревьям: обезьяны, белки, коалы и т. д.
Еще один список - живущих под землей: кроты, слепыши и т.д.
Потом взять и для каждого из списков выделить как можно больше отличительных особенностей: морфологических, биохимических и генетических.
А затем запустить нейронную сеть, чтобы она нашла все паттерны генетических особенностей, что имеют животные каждой из сред обитания.
И тогда мы получим Генетическую книгу мертвых – всех видов, когда-либо существовавших на земле в ходе эволюции.
Эта книга может дать просто бесценное понимание процессов и механизмов эволюционной генетики.
Первые научные работы в этом направлении только появляются (напр. https://goo.gl/cKM1B4 )
Но никто на свете этим пока что серьезно не озадачился.
А ведь перспективный стартап можно сделать. Ведь данные Генетической книги мертвых могли бы здорово пригодиться в медицине и фармакологии.
#СББ #ЭволюционнаяГенетика #ГлубокоеОбучение
Обучение бездействием.
Новый прорывной метод машинного обучения чуть приближает ИИ к человеческому.
Революционная идея данного метода https://goo.gl/aWbX2T , изобретенного профессором David Wolpert и 2мя его постдокторантами, вдохновлена исследованиями по выявлению «бессмысленной информации» https://goo.gl/BCe6X4 и гипотезой, что ключевой целью и функцией памяти является способность забывать информацию https://goo.gl/D54ysu .
Трое исследователей задались вопросом - что получится, если нейронные сети будут обучены забывать бесполезную информацию (и как их научить это делать)?
На самом деле, задачей «забывания ненужной информации» при машинном обучении занимаются уже без малого 20 лет.
Ученые сегодня не совсем понимают, каким образом алгоритмы машинного обучения преуспевают в «интеллектуальных» задачах, типа распознавания изображений и речи. Зато они точно знают, что для эффективной генерализации (классификации данных при поиске обобщающих шаблонов) алгоритм должен помнить важную информацию, забывая о бесполезной. Эта задача, которую часто называют «Информационное бутылочное горло» (“Information Bottleneck”), породила в последние годы волну исследований, будучи впервые сформулированной еще в 2000 году.
И только совсем недавно эта задача была переформулирована применительно быстро развивающейся области глубокого обучения (т.е. машинного обучения, работающего на многослойных нейронных сетях).
Ведь весьма возможно, что сети глубокого обучения столь эффективны при решении многих интеллектуальных задач, не только потому, что они учатся предсказывать, но и потому, что они учатся игнорировать ненужную информацию.
В своей последней публикации «Нелинейное информационное бутылочное горло» https://goo.gl/YQ5v1K , ученые представляют метод обучения алгоритма машинного обучения для идентификации объектов с использованием минимальной информации. Метод решает проблему того, как оценить объем информации, хранящейся в алгоритме, используя новую оценку, опубликованную авторами в июле прошлого года в журнале Энтропия.
Цель этой работы – научиться делать предсказания с использованием данных из ограниченной полосы пропускания.
Допустим, вы - спутник в космосе или удаленная метеостанция в Антарктиде. Вы не можете отправить все данные, которые вы собираете, - их слишком много. Но как тогда определить, какие именно части данных следует послать?
В принципе же, перспективы нового метода куда шире. Он может позволить нейронным сетям находить более абстрактные (более обобщенные) шаблоны, что потенциально может дать столь необходимый рывок в повышении производительности - от распознания пешеходов вблизи самоуправляемых автомобилей до получения пятидневного прогноза погоды с Марса.
И тем самым чуть приблизит ИИ к интеллекту человека.
#ГлубокоеОбучение #Информация #Память
Новый прорывной метод машинного обучения чуть приближает ИИ к человеческому.
Революционная идея данного метода https://goo.gl/aWbX2T , изобретенного профессором David Wolpert и 2мя его постдокторантами, вдохновлена исследованиями по выявлению «бессмысленной информации» https://goo.gl/BCe6X4 и гипотезой, что ключевой целью и функцией памяти является способность забывать информацию https://goo.gl/D54ysu .
Трое исследователей задались вопросом - что получится, если нейронные сети будут обучены забывать бесполезную информацию (и как их научить это делать)?
На самом деле, задачей «забывания ненужной информации» при машинном обучении занимаются уже без малого 20 лет.
Ученые сегодня не совсем понимают, каким образом алгоритмы машинного обучения преуспевают в «интеллектуальных» задачах, типа распознавания изображений и речи. Зато они точно знают, что для эффективной генерализации (классификации данных при поиске обобщающих шаблонов) алгоритм должен помнить важную информацию, забывая о бесполезной. Эта задача, которую часто называют «Информационное бутылочное горло» (“Information Bottleneck”), породила в последние годы волну исследований, будучи впервые сформулированной еще в 2000 году.
И только совсем недавно эта задача была переформулирована применительно быстро развивающейся области глубокого обучения (т.е. машинного обучения, работающего на многослойных нейронных сетях).
Ведь весьма возможно, что сети глубокого обучения столь эффективны при решении многих интеллектуальных задач, не только потому, что они учатся предсказывать, но и потому, что они учатся игнорировать ненужную информацию.
В своей последней публикации «Нелинейное информационное бутылочное горло» https://goo.gl/YQ5v1K , ученые представляют метод обучения алгоритма машинного обучения для идентификации объектов с использованием минимальной информации. Метод решает проблему того, как оценить объем информации, хранящейся в алгоритме, используя новую оценку, опубликованную авторами в июле прошлого года в журнале Энтропия.
Цель этой работы – научиться делать предсказания с использованием данных из ограниченной полосы пропускания.
Допустим, вы - спутник в космосе или удаленная метеостанция в Антарктиде. Вы не можете отправить все данные, которые вы собираете, - их слишком много. Но как тогда определить, какие именно части данных следует послать?
В принципе же, перспективы нового метода куда шире. Он может позволить нейронным сетям находить более абстрактные (более обобщенные) шаблоны, что потенциально может дать столь необходимый рывок в повышении производительности - от распознания пешеходов вблизи самоуправляемых автомобилей до получения пятидневного прогноза погоды с Марса.
И тем самым чуть приблизит ИИ к интеллекту человека.
#ГлубокоеОбучение #Информация #Память
www.santafe.edu
Learning by omission
<p>What would happen if neural networks were explicitly trained to discard useless information, and how to tell them to do so, is the subject of recent research by SFI's Artemy Kolchinsky, Brendan Tracey, and David Wolpert.</p>
Революция в понимании революции глубокого обучения.
Глубокое обучение – это паровая машина XXI века.
99,9% наших современников полагают, что фантастический прогресс технологий беспилотных авто, облачных переводчиков, персональных ассистентов, всевозможных распознавалок и биржевых роботов – все то, что привнесло в жизнь человечества глубокое обучение – это плоды революции глубокого обучения, вовсю идущей на планете.
Мягко говоря, это пока что не так.
Мы всего лишь стоим на пороге революции и еще не понимаем, что нас ждет за этим порогом.
— Что за новые науки она нам откроет?
— Как будут выглядеть в жизни плоды приложений этих, пока еще не открытых наук?
— Как эти плоды изменят саму жизнь отдельных людей и целых обществ?
Так что не стоит воспринимать всерьез светлый образ будущего, рисуемый сегодняшними сценаристам Голливуда, журналистами и штатными техно-провидцам (они этим себе имя и деньги зарабатывают).
Все будет, не то что совсем не так, а просто настолько по-другому, что наши сегодняшние представления со временем будут вызывать лишь улыбки.
Сегодняшние практические успехи глубокого обучения нейронных сетей – это полное подобие построению первых паровых машин во второй половине 18 века, предвещавших скорое наступление промышленной революции.
Как и почему эти машины работают, тогда никто в мире не понимал. И потребовалось 150 лет, и великие прозрения Карно, Джоуля, Кельвина, Гиббса, Нернста и Каратеодори, чтобы создать новую науку – термодинамику.
Открытие её «начал» (от 0го до 3его) изменило все представления о физическом мире, увязав понятия температуры, объема, давления и энергии, открыв фундаментальные мировые постоянные (Авогадро, Больцмана …), совершив интеллектуальные прорывы к понятиям идеального газа, энтропии и в результате породив целый спектр новых наук: от неравновесной термодинамики до термодинамики фотонного газа (и это еще не предел).
Какой будет революция, толчком к которой станет создание «паровой машины 21 века» - глубокого обучения – пока можно только гадать. Пока что, как и 300 лет назад, мы лишь знаем:
- что «эта штука» работает и весьма эффективно;
- но как и почему, - не понятно.
А поскольку нет ни теории «этой штуки», ни, тем более, ее увязки с другими фундаментальными научными теориями, то и пределы ее практического применения нам видятся примерно так же, как виделась перспектива использования паровых машин в середине 18 века или перспектива полетов для человечества после полета братьев Райт на рубеже 20-го века.
Питать иллюзии, что разобраться, как работает «эта штука», можно будет лет за 5-10, наивно. И нет смысла кивать на то, что все сейчас сильно ускорилось. На построение первых эффективно работающих систем глубокого обучения ушло примерно столько же время, как и для паровых машин – около 40 лет. Поэтому, не стоит торопиться с прогнозами.
И если что-то может считаться уже понятным и определенным, так только одно.
Следующие прорывы, ознаменующие ход революции глубокого обучения, произойдут при достижении новых этапов в понимании структуры и принципов работы всех областей человеческого мозга.
Обо всем этом написано в новой замечательной книге одного из самых разбирающихся в этой теме супер-мега-спецов – «родителя» всего сегодняшнего глубокого обучения, в 1980-х годах бросившего вызов тогдашней версии ИИ на основе логики и символов, ученого с немыслимым числом наград и титулов, проф. Терри Сейновски.
Книга «Революция глубокого обучения» выйдет 30 октября. И в этой книге все очень точно и правильно. Все, - кроме её названия. На самом деле она не о идущей «Революции глубокого обучения», а о «Революции в понимании революции глубокого обучения», которая еще только должна начаться.
К сожалению, не могу поделиться с вами текстом книги до ее публикации. Но весьма рекомендую краткий пересказ Ника Хейса ее основных мыслей
https://www.techrepublic.com/article/the-deep-learning-revolution-how-understanding-the-brain-will-let-us-supercharge-ai/
#БББ #ГлубокоеОбучение
Глубокое обучение – это паровая машина XXI века.
99,9% наших современников полагают, что фантастический прогресс технологий беспилотных авто, облачных переводчиков, персональных ассистентов, всевозможных распознавалок и биржевых роботов – все то, что привнесло в жизнь человечества глубокое обучение – это плоды революции глубокого обучения, вовсю идущей на планете.
Мягко говоря, это пока что не так.
Мы всего лишь стоим на пороге революции и еще не понимаем, что нас ждет за этим порогом.
— Что за новые науки она нам откроет?
— Как будут выглядеть в жизни плоды приложений этих, пока еще не открытых наук?
— Как эти плоды изменят саму жизнь отдельных людей и целых обществ?
Так что не стоит воспринимать всерьез светлый образ будущего, рисуемый сегодняшними сценаристам Голливуда, журналистами и штатными техно-провидцам (они этим себе имя и деньги зарабатывают).
Все будет, не то что совсем не так, а просто настолько по-другому, что наши сегодняшние представления со временем будут вызывать лишь улыбки.
Сегодняшние практические успехи глубокого обучения нейронных сетей – это полное подобие построению первых паровых машин во второй половине 18 века, предвещавших скорое наступление промышленной революции.
Как и почему эти машины работают, тогда никто в мире не понимал. И потребовалось 150 лет, и великие прозрения Карно, Джоуля, Кельвина, Гиббса, Нернста и Каратеодори, чтобы создать новую науку – термодинамику.
Открытие её «начал» (от 0го до 3его) изменило все представления о физическом мире, увязав понятия температуры, объема, давления и энергии, открыв фундаментальные мировые постоянные (Авогадро, Больцмана …), совершив интеллектуальные прорывы к понятиям идеального газа, энтропии и в результате породив целый спектр новых наук: от неравновесной термодинамики до термодинамики фотонного газа (и это еще не предел).
Какой будет революция, толчком к которой станет создание «паровой машины 21 века» - глубокого обучения – пока можно только гадать. Пока что, как и 300 лет назад, мы лишь знаем:
- что «эта штука» работает и весьма эффективно;
- но как и почему, - не понятно.
А поскольку нет ни теории «этой штуки», ни, тем более, ее увязки с другими фундаментальными научными теориями, то и пределы ее практического применения нам видятся примерно так же, как виделась перспектива использования паровых машин в середине 18 века или перспектива полетов для человечества после полета братьев Райт на рубеже 20-го века.
Питать иллюзии, что разобраться, как работает «эта штука», можно будет лет за 5-10, наивно. И нет смысла кивать на то, что все сейчас сильно ускорилось. На построение первых эффективно работающих систем глубокого обучения ушло примерно столько же время, как и для паровых машин – около 40 лет. Поэтому, не стоит торопиться с прогнозами.
И если что-то может считаться уже понятным и определенным, так только одно.
Следующие прорывы, ознаменующие ход революции глубокого обучения, произойдут при достижении новых этапов в понимании структуры и принципов работы всех областей человеческого мозга.
Обо всем этом написано в новой замечательной книге одного из самых разбирающихся в этой теме супер-мега-спецов – «родителя» всего сегодняшнего глубокого обучения, в 1980-х годах бросившего вызов тогдашней версии ИИ на основе логики и символов, ученого с немыслимым числом наград и титулов, проф. Терри Сейновски.
Книга «Революция глубокого обучения» выйдет 30 октября. И в этой книге все очень точно и правильно. Все, - кроме её названия. На самом деле она не о идущей «Революции глубокого обучения», а о «Революции в понимании революции глубокого обучения», которая еще только должна начаться.
К сожалению, не могу поделиться с вами текстом книги до ее публикации. Но весьма рекомендую краткий пересказ Ника Хейса ее основных мыслей
https://www.techrepublic.com/article/the-deep-learning-revolution-how-understanding-the-brain-will-let-us-supercharge-ai/
#БББ #ГлубокоеОбучение
ИИ губочитка – это конец приватности.
Китай демонстрирует: лидер – это тот, кто владеет данными.
• С перлюстрацией люди научились бороться – просто пишем «об этом писать не буду - обсудим при встрече».
• С прослушкой тоже научились – «это не по телефону», говорим мы.
• И даже с дистанционной подслушкой научились – оставляем мобильники и выходим «покурить» у входа в ресторан или совместно «помыть руки» в туалет или просто фланируем по улице.
Новый подарок человечеству от глубокого обучения – ИИ губочитка – лишает нас этой возможности. Ведь всюду теперь камеры. А если их где-то еще нет, то будут.
Осталось только научить ИИ слету читать по губам в т.н. естественных условиях (с разных ракурсов, в движении, и т.д.)
И вот Китайцы показали, кто в лавке хозяин.
Только-только 1го октября Google DeepMind сообщил, что ИИ снова порвал в тряпки людей, - теперь по части точности чтения по губам. Их ИИ губочитка показала Word Error Rate равный 40.9%. Это в 2+ раза лучше показателей людей - профессионалов губочтения 86,4% - 92,9% (это не процент ошибок, а 4х частная формула, суть которой - чем меньше, тем точнее).
Но спустя всего 2 недели 16 октября китайцы сообщают, что достигли 38,19%. И хотя это очень круто, но сенсация все равно не в этом. А в том, что китайский ИИ губочтец распознает не «студийную начитку», а т.н. «речь в естественных условиях», т.е. практически с любой камеры видеонаблюдения, показывающей говорящего под любым ракурсом.
Секрет прорыва прост – ломовой набор данных для обучения ИИ губочтеца (1К+ классов фонем, 2К+ спикеров, видео натурального разрешения плюс совмещение 2D и 3D методов распознавания).
Понятное дело, пока что распознается мандарин – официальный язык на диалектах северокитайского. Но у Google DeepMind, сами понимаете, английский. А подрядить пару тысяч китайцев наговорить тысяч 5 часов видео в естественных условиях – для Китая дело техники.
Резюме печальное – приватности приходит конец. Осталась только невербальная коммуникация и разговоры самих с собой. Но не обольщайтесь. Китайцы уже начали разработки:
- ИИ чтеца языка тела;
- ИИ чтеца показателей индивидуальных трекеров (пульс, давление …) с геопозиционированием. И попробуй только мысленно в сердцах матюгнуться, проходя мимо портрета нацлидера: твой браслет это отследит, ИИ чтец проинтерпретирует, и получай минус 100 баллов в свою социальную репутацию.
#ГлубокоеОбучение
Китай демонстрирует: лидер – это тот, кто владеет данными.
• С перлюстрацией люди научились бороться – просто пишем «об этом писать не буду - обсудим при встрече».
• С прослушкой тоже научились – «это не по телефону», говорим мы.
• И даже с дистанционной подслушкой научились – оставляем мобильники и выходим «покурить» у входа в ресторан или совместно «помыть руки» в туалет или просто фланируем по улице.
Новый подарок человечеству от глубокого обучения – ИИ губочитка – лишает нас этой возможности. Ведь всюду теперь камеры. А если их где-то еще нет, то будут.
Осталось только научить ИИ слету читать по губам в т.н. естественных условиях (с разных ракурсов, в движении, и т.д.)
И вот Китайцы показали, кто в лавке хозяин.
Только-только 1го октября Google DeepMind сообщил, что ИИ снова порвал в тряпки людей, - теперь по части точности чтения по губам. Их ИИ губочитка показала Word Error Rate равный 40.9%. Это в 2+ раза лучше показателей людей - профессионалов губочтения 86,4% - 92,9% (это не процент ошибок, а 4х частная формула, суть которой - чем меньше, тем точнее).
Но спустя всего 2 недели 16 октября китайцы сообщают, что достигли 38,19%. И хотя это очень круто, но сенсация все равно не в этом. А в том, что китайский ИИ губочтец распознает не «студийную начитку», а т.н. «речь в естественных условиях», т.е. практически с любой камеры видеонаблюдения, показывающей говорящего под любым ракурсом.
Секрет прорыва прост – ломовой набор данных для обучения ИИ губочтеца (1К+ классов фонем, 2К+ спикеров, видео натурального разрешения плюс совмещение 2D и 3D методов распознавания).
Понятное дело, пока что распознается мандарин – официальный язык на диалектах северокитайского. Но у Google DeepMind, сами понимаете, английский. А подрядить пару тысяч китайцев наговорить тысяч 5 часов видео в естественных условиях – для Китая дело техники.
Резюме печальное – приватности приходит конец. Осталась только невербальная коммуникация и разговоры самих с собой. Но не обольщайтесь. Китайцы уже начали разработки:
- ИИ чтеца языка тела;
- ИИ чтеца показателей индивидуальных трекеров (пульс, давление …) с геопозиционированием. И попробуй только мысленно в сердцах матюгнуться, проходя мимо портрета нацлидера: твой браслет это отследит, ИИ чтец проинтерпретирует, и получай минус 100 баллов в свою социальную репутацию.
#ГлубокоеОбучение
Переход от петард и фейерверков к пулям и снарядам свершился.
Глубокое обучение повторяет судьбу пороха.
В Китае еще 1,5+ тыс. лет назад порох использовался для зажигательных снарядов «хо пао» (огненный шар), ставших основой петард и фейерверков. Прошли века, пока догадались использовать силу взрывных газов, возникавших при горении пороха, для метания снарядов и пуль.
С глубоким обучением прогресс был похожим, хотя и шел несравненно быстрее.
Потребовался всего 10+ лет, чтобы перейти от задач распознавания котиков и предсказания покупок к прогностическим моделям на стыке традиционных дисциплин: физики, химии, биологии и материаловедения.
И хотя для обывателя умная колонка и самоуправляемый авто по-прежнему интересней и прикольней, пользы человечеству от них, как от петард и фейерверков (деньги гребут лишь производители, а мы лишь тупо, но радостно палим в небо на НГ, тратя на это кровно заработанное).
Тогда как решение многоэлектронного уравнения Шредингера на основе глубокого обучения открывает такие перспективы в квантовой химии, что дух захватывает.
А ведь идея проста, как все гениальное. Нейронные сети можно рассматривать как аппроксиматоры функций. То есть вы даете нейронной сети учиться, поставляя ей на вход данные из обучающего набора x. Сеть, обучаясь, пытается как можно точнее определить f (х). А когда она научается генерировать известные значения f (x), то может выдавать довольно точные результаты для тех x, которых не было в обучающем наборе данных.
Все выглядит просто. Но кто сказал, что в качестве f (x) можно использовать лишь простые функции?
А что если подсунуть нейронной сети многоэлектронную волновую функцию, удовлетворяющую статистике Ферми-Дирака?
Так и сделали кудесники из DeepMind, построив Fermionic Neural Network. В сети примерно 70 тыс. параметров, и в реальности никто не понимает, что там происходит. Но сеть обучается только один раз, и после этого она, похоже, способна находить приближенные волновые функции, дающие хорошие результаты для предсказанных свойств химических веществ.
В отличие от самоуправляемого авто, непонимание нами алгоритма, избранного сетью для решения уравнения Шредингера, не влечет никаких моральных терзаний и юридических тупиков.
А пользы от одного такого решения больше чем от всех умных колонок мира вместе взятых.
Прочтите о прорывном решении Ab-Initio - популярно и супер-сложно.
Но не подумайте, что лишь супербогатый DeepMind способен нынче на такое.
Вот «наш человек» Александр Исаев, закончивший Днепропетровский универ, а теперь доцент кафедры химии в Универе Северной Каролины, - делает аналогичные вещи. Будучи первым пользователем суперкомпьютера Frontera - самого быстрого академического суперкомпьютера в мире, - он обучил нейронную сеть решать уравнение Шредингера, сначала решая уравнение теории функционала плотности (DFT) для органических молекул.
В отличие от вынужденной политкорректности DeepMind, Александр говорит открытым текстом:
«Момент спутника происходит именно на стыке разных наук и ИИ. Международная гонка за первенство здесь уже началась. И очень важно, чтобы наша страна выиграла эту гонку».
Плохая новость: «наша страна» - это США.
Хорошая – это шикарный пример, как история пороха может повториться. В результате чего Штаты могут сделать в ИИ-гонке Китай.
Пока тот будет зарабатывать на «огненных шарах» ширпотреба, завороженный рассказами Кай-Фу Ли об абсолютном превосходстве Китая в объемах данных, США изобретают пистолет.
А ведь «добрым словом и пистолетом можно добиться гораздо большего, чем одним только добрым словом».
#ГлубокоеОбучение
Глубокое обучение повторяет судьбу пороха.
В Китае еще 1,5+ тыс. лет назад порох использовался для зажигательных снарядов «хо пао» (огненный шар), ставших основой петард и фейерверков. Прошли века, пока догадались использовать силу взрывных газов, возникавших при горении пороха, для метания снарядов и пуль.
С глубоким обучением прогресс был похожим, хотя и шел несравненно быстрее.
Потребовался всего 10+ лет, чтобы перейти от задач распознавания котиков и предсказания покупок к прогностическим моделям на стыке традиционных дисциплин: физики, химии, биологии и материаловедения.
И хотя для обывателя умная колонка и самоуправляемый авто по-прежнему интересней и прикольней, пользы человечеству от них, как от петард и фейерверков (деньги гребут лишь производители, а мы лишь тупо, но радостно палим в небо на НГ, тратя на это кровно заработанное).
Тогда как решение многоэлектронного уравнения Шредингера на основе глубокого обучения открывает такие перспективы в квантовой химии, что дух захватывает.
А ведь идея проста, как все гениальное. Нейронные сети можно рассматривать как аппроксиматоры функций. То есть вы даете нейронной сети учиться, поставляя ей на вход данные из обучающего набора x. Сеть, обучаясь, пытается как можно точнее определить f (х). А когда она научается генерировать известные значения f (x), то может выдавать довольно точные результаты для тех x, которых не было в обучающем наборе данных.
Все выглядит просто. Но кто сказал, что в качестве f (x) можно использовать лишь простые функции?
А что если подсунуть нейронной сети многоэлектронную волновую функцию, удовлетворяющую статистике Ферми-Дирака?
Так и сделали кудесники из DeepMind, построив Fermionic Neural Network. В сети примерно 70 тыс. параметров, и в реальности никто не понимает, что там происходит. Но сеть обучается только один раз, и после этого она, похоже, способна находить приближенные волновые функции, дающие хорошие результаты для предсказанных свойств химических веществ.
В отличие от самоуправляемого авто, непонимание нами алгоритма, избранного сетью для решения уравнения Шредингера, не влечет никаких моральных терзаний и юридических тупиков.
А пользы от одного такого решения больше чем от всех умных колонок мира вместе взятых.
Прочтите о прорывном решении Ab-Initio - популярно и супер-сложно.
Но не подумайте, что лишь супербогатый DeepMind способен нынче на такое.
Вот «наш человек» Александр Исаев, закончивший Днепропетровский универ, а теперь доцент кафедры химии в Универе Северной Каролины, - делает аналогичные вещи. Будучи первым пользователем суперкомпьютера Frontera - самого быстрого академического суперкомпьютера в мире, - он обучил нейронную сеть решать уравнение Шредингера, сначала решая уравнение теории функционала плотности (DFT) для органических молекул.
В отличие от вынужденной политкорректности DeepMind, Александр говорит открытым текстом:
«Момент спутника происходит именно на стыке разных наук и ИИ. Международная гонка за первенство здесь уже началась. И очень важно, чтобы наша страна выиграла эту гонку».
Плохая новость: «наша страна» - это США.
Хорошая – это шикарный пример, как история пороха может повториться. В результате чего Штаты могут сделать в ИИ-гонке Китай.
Пока тот будет зарабатывать на «огненных шарах» ширпотреба, завороженный рассказами Кай-Фу Ли об абсолютном превосходстве Китая в объемах данных, США изобретают пистолет.
А ведь «добрым словом и пистолетом можно добиться гораздо большего, чем одним только добрым словом».
#ГлубокоеОбучение
Прозрение отца ИИ о том, как ИИ сможет понимать мир.
GLOM – революционная теория Джеффри Хинтона (о которой в России почему-то никто не знает).
• Можно научить ИИ понимать окружающий мир так, как его понимают люди. Ключом к этому станет техника восприятия мира, подобная человеческой.
• Человеческое восприятие построено на интуиции, и чтобы ИИ понимал мир, нужно смоделировать для ИИ интуицию.
• Интуиция – это способность легко проводить аналогии. С её помощью ИИ, подобно человеческому мозгу, будет понимать мир и обладать проницательностью.
• С детства и на протяжении всей жизни мы осмысливаем мир, используя рассуждения по аналогии, отображая сходство одного объекта (идеи, концепции …) с другим - или, в терминологии GLOM, - сходство одного большого вектора с другим.
• Современные теории исходят либо из того, что в ходе восприятия мозг обрaбaтывaет изобрaжение («пиксели»), либо из того, что мозг обрабатывает символы. GLOM утверждает, что обa подходы неверны: мозг оперирует не пикселями и не символaми, a большими векторaми нейронной aктивности (т.е. нaборaми aктивaций тех или иных нейронов).
• Если удастся на основе GLOM создать новый класс моделей и алгоритмов глубокого обучения, это может стать прорывом к ИИ, умеющему гибко решать проблемы. Такой ИИ будет способен понимать вещи, с которыми никогда раньше не сталкивался, извлекать сходства из прошлого опыта, экспериментировать с идеями, обобщать, экстраполировать – одним словом, понимать.
GLOM – это новая гипер-прорывная теория ИИ, разработанная Джеффри Хинтоном. То, что его называют отцом ИИ, - вовсе не преувеличение. По словам соучредителя и члена правления Института искусственного интеллекта Vector Джордана Джейкобса: «Через 30 лет мы оглянемся назад и скажем, что Джефф — Эйнштейн для ИИ, глубокого обучения, всего, что мы зовем ИИ».
Из всех исследователей ИИ Хинтона цитируют чаще, чем трех идущих за ним, вместе взятых. Его студенты и аспиранты уходят работать в лаборатории ИИ Apple, Facebook и OpenAI; сам Хинтон — ведущий ученый в команде Google Brain AI. Практически любое достижение в области ИИ за последние десять лет — в переводе, распознавании речи, распознавании изображений и играх — так или иначе касается работ Хинтона.
Его новая теория GLOM решает две самые сложные проблемы для систем визуального восприятия (и то, и другое современный ИИ не умеет в принципе):
• понимание всей сцены в терминах объектов и их естественных частей (например, если такому ИИ показать 10 фрагментов тела подорвавшегося на мине солдата, он опознает, что это труп мужчины);
• распознавание объектов при взгляде с иной точки зрения (современный ИИ не может даже распознать автобус, перевернувшийся и лежащий на крыше).
И хотя GLOM фокусируется на визуальном восприятии, Хинтон ожидает, что эти же идеи можно применить и к языку, чтобы воспроизвести дерево синтаксического анализа в нейронной сети (пока это несбыточная мечта).
Ключевые идеи GLOM недавно были опубликованы Хинтоном в 44-х страничной статье. Эти идеи представляют собой существенный пересмотр архитектуры капсульных нейронных сетей, изобретенной Хинтоном 4 года назад.
И хотя GLOM сегодня – не более, чем «новая философия нейронных сетей», но звучит эта философия чарующе и маняще. Ибо обещает открыть перед ИИ почти что неограниченные горизонты.
Подробней:
- популярно за пэйволом и в обход его
- научно
- очень интересный видео-рассказ о сравнении теории GLOM с «Теорией интеллекта тысячи мозгов»
#КудаИдетИИ #ГлубокоеОбучение
GLOM – революционная теория Джеффри Хинтона (о которой в России почему-то никто не знает).
• Можно научить ИИ понимать окружающий мир так, как его понимают люди. Ключом к этому станет техника восприятия мира, подобная человеческой.
• Человеческое восприятие построено на интуиции, и чтобы ИИ понимал мир, нужно смоделировать для ИИ интуицию.
• Интуиция – это способность легко проводить аналогии. С её помощью ИИ, подобно человеческому мозгу, будет понимать мир и обладать проницательностью.
• С детства и на протяжении всей жизни мы осмысливаем мир, используя рассуждения по аналогии, отображая сходство одного объекта (идеи, концепции …) с другим - или, в терминологии GLOM, - сходство одного большого вектора с другим.
• Современные теории исходят либо из того, что в ходе восприятия мозг обрaбaтывaет изобрaжение («пиксели»), либо из того, что мозг обрабатывает символы. GLOM утверждает, что обa подходы неверны: мозг оперирует не пикселями и не символaми, a большими векторaми нейронной aктивности (т.е. нaборaми aктивaций тех или иных нейронов).
• Если удастся на основе GLOM создать новый класс моделей и алгоритмов глубокого обучения, это может стать прорывом к ИИ, умеющему гибко решать проблемы. Такой ИИ будет способен понимать вещи, с которыми никогда раньше не сталкивался, извлекать сходства из прошлого опыта, экспериментировать с идеями, обобщать, экстраполировать – одним словом, понимать.
GLOM – это новая гипер-прорывная теория ИИ, разработанная Джеффри Хинтоном. То, что его называют отцом ИИ, - вовсе не преувеличение. По словам соучредителя и члена правления Института искусственного интеллекта Vector Джордана Джейкобса: «Через 30 лет мы оглянемся назад и скажем, что Джефф — Эйнштейн для ИИ, глубокого обучения, всего, что мы зовем ИИ».
Из всех исследователей ИИ Хинтона цитируют чаще, чем трех идущих за ним, вместе взятых. Его студенты и аспиранты уходят работать в лаборатории ИИ Apple, Facebook и OpenAI; сам Хинтон — ведущий ученый в команде Google Brain AI. Практически любое достижение в области ИИ за последние десять лет — в переводе, распознавании речи, распознавании изображений и играх — так или иначе касается работ Хинтона.
Его новая теория GLOM решает две самые сложные проблемы для систем визуального восприятия (и то, и другое современный ИИ не умеет в принципе):
• понимание всей сцены в терминах объектов и их естественных частей (например, если такому ИИ показать 10 фрагментов тела подорвавшегося на мине солдата, он опознает, что это труп мужчины);
• распознавание объектов при взгляде с иной точки зрения (современный ИИ не может даже распознать автобус, перевернувшийся и лежащий на крыше).
И хотя GLOM фокусируется на визуальном восприятии, Хинтон ожидает, что эти же идеи можно применить и к языку, чтобы воспроизвести дерево синтаксического анализа в нейронной сети (пока это несбыточная мечта).
Ключевые идеи GLOM недавно были опубликованы Хинтоном в 44-х страничной статье. Эти идеи представляют собой существенный пересмотр архитектуры капсульных нейронных сетей, изобретенной Хинтоном 4 года назад.
И хотя GLOM сегодня – не более, чем «новая философия нейронных сетей», но звучит эта философия чарующе и маняще. Ибо обещает открыть перед ИИ почти что неограниченные горизонты.
Подробней:
- популярно за пэйволом и в обход его
- научно
- очень интересный видео-рассказ о сравнении теории GLOM с «Теорией интеллекта тысячи мозгов»
#КудаИдетИИ #ГлубокоеОбучение
MIT Technology Review
Geoffrey Hinton has a hunch about what’s next for AI
A decade ago, the artificial-intelligence pioneer transformed the field with a major breakthrough. Now he’s working on a new imaginary system named GLOM.