Книга книг об ИИ – обязательное чтение.
CB Insights опубликовал 120-страничную «Библию генеративного ИИ».
• Для неспециалистов самое интересное и понятное – часть 1.
• Для желающих понять струи и течения – часть 2.
• Для инвесторов и госчиновников – часть 3.
Часть 1. Бум генеративного ИИ (ГенИИ) зрел постепенно, но вдруг рванул так, что мир закачался.
• как это случилось
• и почему
Часть 2. Как выглядит сочетание шторма с цунами.
• Цунами и шторм - явления разной природы. Но в редких случаях они могут совпасть по времени и усилить эффект друг друга.
• Так и случилось с ГенИИ:
– финансирование взлетело до небес благодаря наплыву инвесторов,
– БигТех поменял свои приоритеты, сделав главную ставку на ГенИИ
Часть 3. Куда движется генеративный ИИ?
• Бой за инфраструктуру («есть железо – участвуй в гонке; нет железа – кури в сторонке»)
• Область применения ГенИИ – повсюду (это как с электричеством)
• Локомотивами индустриальных применений уже становятся здравоохранение и науки о жизни, финансы и страхование, ритейл
https://www.cbinsights.com/research/report/generative-ai-bible/
#ИИ #ИИгонка
CB Insights опубликовал 120-страничную «Библию генеративного ИИ».
• Для неспециалистов самое интересное и понятное – часть 1.
• Для желающих понять струи и течения – часть 2.
• Для инвесторов и госчиновников – часть 3.
Часть 1. Бум генеративного ИИ (ГенИИ) зрел постепенно, но вдруг рванул так, что мир закачался.
• как это случилось
• и почему
Часть 2. Как выглядит сочетание шторма с цунами.
• Цунами и шторм - явления разной природы. Но в редких случаях они могут совпасть по времени и усилить эффект друг друга.
• Так и случилось с ГенИИ:
– финансирование взлетело до небес благодаря наплыву инвесторов,
– БигТех поменял свои приоритеты, сделав главную ставку на ГенИИ
Часть 3. Куда движется генеративный ИИ?
• Бой за инфраструктуру («есть железо – участвуй в гонке; нет железа – кури в сторонке»)
• Область применения ГенИИ – повсюду (это как с электричеством)
• Локомотивами индустриальных применений уже становятся здравоохранение и науки о жизни, финансы и страхование, ритейл
https://www.cbinsights.com/research/report/generative-ai-bible/
#ИИ #ИИгонка
CB Insights Research
Generative AI Bible: The ultimate guide to genAI disruption - CB Insights Research
The generative AI landscape is evolving rapidly. Discover how the tech has developed, where it's going, and which trends and players you need to watch.
Китай догнал США по ИИ и к лету обещает обойти.
Китайские языковые модели догнали GPT-4, и теперь главный вопрос - сможет ли OpenAI до лета выпустить GPT-5 или Китай уйдет в отрыв.
Январь 2024 оказался для Китая триумфальным в области ИИ. Триумф этот и количественный, и качественный.
Количественный: среди 150+ больших языковых моделей (LLM) китайского производства (для справки, в России таких 4), 40 прошли госпроверку и уже доступны для широкого применения [1]
Качественный: две китайских LLM вплотную приблизились по большинству показателей к самой мощной в мире последней версии GPT-4 Turbo.
Это:
• iFlyTek Spark 3.5 LLM от компании iFlyTek, достигшая 96% производительности GPT-4 Turbo в кодировании и 91% GPT-4 в мультимодальных возможностях [2]
• ChatGLM4 от компании Zhipu: базовые возможности на английском языке составляют 91-100% от GPT-4 Turbo [3], а на китаяском языке 95-116% от GPT-4 Turbo [4] (подробней здесь [5])
И iFlyTek, и Zhipu объявили о запланированных к лету выпусках новых версий своих LLM, которые будут на 20-60% сильнее.
И если OpenAI не успеет в те же сроки выпустить GPT-5, то ситуация на шахматной доске мировой конкуренции в области ИИ может кардинально измениться. Дело в том, что компании США всегда были лидерами в этой области. Насколько удачно они смогут конкурировать в роли догоняющих, не знает никто.
N.B. И iFlyTek, и Zhipu заявляют, что их модели оптимизированы для работы на китайском «железе». Если это правда, то главный «удушающий прием» со стороны США – запрет на экспорт мощного ИИ-«железа», - Китай сумел обойти. Следствие этого будет стратегический перелом в ИИ гонке США и Китая. Что даже круче тактического превосходства в производительности отдельных моделей.
#ИИгонка #США #Китай #LLM
1 https://www.scmp.com/tech/tech-trends/article/3250177/china-approves-14-large-language-models-and-enterprise-applications-beijing-favours-wider-ai
2 https://www.ithome.com/0/748/030.htm
3 https://pic2.zhimg.com/80/v2-8aa028205cd53693af8f324029c62fa5_1440w.webp
4 https://pic2.zhimg.com/80/v2-8aa028205cd53693af8f324029c62fa5_1440w.webp
5 https://sfile.chatglm.cn/zp-story.pdf
Китайские языковые модели догнали GPT-4, и теперь главный вопрос - сможет ли OpenAI до лета выпустить GPT-5 или Китай уйдет в отрыв.
Январь 2024 оказался для Китая триумфальным в области ИИ. Триумф этот и количественный, и качественный.
Количественный: среди 150+ больших языковых моделей (LLM) китайского производства (для справки, в России таких 4), 40 прошли госпроверку и уже доступны для широкого применения [1]
Качественный: две китайских LLM вплотную приблизились по большинству показателей к самой мощной в мире последней версии GPT-4 Turbo.
Это:
• iFlyTek Spark 3.5 LLM от компании iFlyTek, достигшая 96% производительности GPT-4 Turbo в кодировании и 91% GPT-4 в мультимодальных возможностях [2]
• ChatGLM4 от компании Zhipu: базовые возможности на английском языке составляют 91-100% от GPT-4 Turbo [3], а на китаяском языке 95-116% от GPT-4 Turbo [4] (подробней здесь [5])
И iFlyTek, и Zhipu объявили о запланированных к лету выпусках новых версий своих LLM, которые будут на 20-60% сильнее.
И если OpenAI не успеет в те же сроки выпустить GPT-5, то ситуация на шахматной доске мировой конкуренции в области ИИ может кардинально измениться. Дело в том, что компании США всегда были лидерами в этой области. Насколько удачно они смогут конкурировать в роли догоняющих, не знает никто.
N.B. И iFlyTek, и Zhipu заявляют, что их модели оптимизированы для работы на китайском «железе». Если это правда, то главный «удушающий прием» со стороны США – запрет на экспорт мощного ИИ-«железа», - Китай сумел обойти. Следствие этого будет стратегический перелом в ИИ гонке США и Китая. Что даже круче тактического превосходства в производительности отдельных моделей.
#ИИгонка #США #Китай #LLM
1 https://www.scmp.com/tech/tech-trends/article/3250177/china-approves-14-large-language-models-and-enterprise-applications-beijing-favours-wider-ai
2 https://www.ithome.com/0/748/030.htm
3 https://pic2.zhimg.com/80/v2-8aa028205cd53693af8f324029c62fa5_1440w.webp
4 https://pic2.zhimg.com/80/v2-8aa028205cd53693af8f324029c62fa5_1440w.webp
5 https://sfile.chatglm.cn/zp-story.pdf
South China Morning Post
China gives nod to 14 AI large language models and enterprise applications
The new batch includes a number of industry-specific LLMs, compared with the general AI models from previous approvals, reflecting how the technology is being used to boost efficiency in enterprises.
Утечка об истинной оценке руководством Китая перспектив ИИ-гонки с США.
Большинство комментаторов ИИ-гонки между США и Китаем
• либо отдают безоговорочное преимущество США, заявляя, что у Китая нет ни шанса достать США в этой гонке;
• либо уверенно делают ставку на сочетание немеренных денег, жесткой прагматики руководства и океана данных Китая, которые рано или поздно принесут ему победу в этой гонке.
Произошедшая на днях утечка информации о посещении Премьером Госсовета КНР Ли Цяном Пекинской академии ИИ показала, что обе вышеназванные группы экспертов ошибаются.
Истинная оценка руководством Китая перспектив ИИ-гонки с США куда трезвее и мудрее.
Утечка произошла из-за того, что в кадр телесъемки визита по недогляду попал резюмирующий слайд презентации с совещания, в котором участвовал Премьер [1]. Билл Бишоп первым отметил это [2]. Кевин Сюй перевел и пояснил смысл трёх фундаментальных проблем Китая, указанных на этом слайде [3]. А Джеффри Динг рассказал эту историю в вышедшем сегодня выпуске ChinAI [4].
На слайде написано следующее:
Вызов 1: отсутствие самодостаточности в архитектуре модели. Серия GPT является запатентованной, и большинство китайских моделей построены с использованием LLaMA с открытым исходным кодом (такая чрезмерная зависимость от LLaMA из способа догнать США теперь превращается в серьезную проблему).
Вызов 2: до самостоятельного обучения и настройки базовых моделей еще далеко. Множество отечественных поставщиков микросхем, каждый из которых имеет собственную экосистему, затрудняет развертывание высокопроизводительных моделей. Обучение моделей со 100B+ параметров очень ненадежно (экспортный контроль над чипами в США работает очень хорошо).
Вызов 3: контент, создаваемый ИИ, трудно контролировать. Трудно гарантировать, что весь такой контент «высокого качества» и соответствует «фактам» (GenAI по своей природе вероятностный, а не детерминированный. Правительство, которому необходим абсолютный контроль, сочтет такое положение дел, скорее, угрожающим, чем желательным).
Все 3 названных вызова имеют не временный, а фундаментальный характер, и их нельзя решить за 1-2 года, заливая субсидиями и валом инженерных решений. Может быть, в конечном итоге, эти проблемы все же и удастся решить, но "в конечном итоге" это займет достаточно времени (что США снова ушли в отрыв, - добавлю к пояснению я)
Эта утечка реалистического понимания перспектив ИИ-гонки чрезвычайно важна не только для двух ее лидеров. Но и для других участников гонки. И особенно отягощенных, как Китай (или даже больше), технологическими санкциями США.
1 https://telegra.ph/file/81596a4177b68aa470999.png
2 https://twitter.com/niubi
3 https://twitter.com/kevinsxu/status/1768365478295355647
4 https://chinai.substack.com/p/chinai-258-is-translation-already
#Китай #ИИгонка #LLM
Большинство комментаторов ИИ-гонки между США и Китаем
• либо отдают безоговорочное преимущество США, заявляя, что у Китая нет ни шанса достать США в этой гонке;
• либо уверенно делают ставку на сочетание немеренных денег, жесткой прагматики руководства и океана данных Китая, которые рано или поздно принесут ему победу в этой гонке.
Произошедшая на днях утечка информации о посещении Премьером Госсовета КНР Ли Цяном Пекинской академии ИИ показала, что обе вышеназванные группы экспертов ошибаются.
Истинная оценка руководством Китая перспектив ИИ-гонки с США куда трезвее и мудрее.
Утечка произошла из-за того, что в кадр телесъемки визита по недогляду попал резюмирующий слайд презентации с совещания, в котором участвовал Премьер [1]. Билл Бишоп первым отметил это [2]. Кевин Сюй перевел и пояснил смысл трёх фундаментальных проблем Китая, указанных на этом слайде [3]. А Джеффри Динг рассказал эту историю в вышедшем сегодня выпуске ChinAI [4].
На слайде написано следующее:
Вызов 1: отсутствие самодостаточности в архитектуре модели. Серия GPT является запатентованной, и большинство китайских моделей построены с использованием LLaMA с открытым исходным кодом (такая чрезмерная зависимость от LLaMA из способа догнать США теперь превращается в серьезную проблему).
Вызов 2: до самостоятельного обучения и настройки базовых моделей еще далеко. Множество отечественных поставщиков микросхем, каждый из которых имеет собственную экосистему, затрудняет развертывание высокопроизводительных моделей. Обучение моделей со 100B+ параметров очень ненадежно (экспортный контроль над чипами в США работает очень хорошо).
Вызов 3: контент, создаваемый ИИ, трудно контролировать. Трудно гарантировать, что весь такой контент «высокого качества» и соответствует «фактам» (GenAI по своей природе вероятностный, а не детерминированный. Правительство, которому необходим абсолютный контроль, сочтет такое положение дел, скорее, угрожающим, чем желательным).
Все 3 названных вызова имеют не временный, а фундаментальный характер, и их нельзя решить за 1-2 года, заливая субсидиями и валом инженерных решений. Может быть, в конечном итоге, эти проблемы все же и удастся решить, но "в конечном итоге" это займет достаточно времени (что США снова ушли в отрыв, - добавлю к пояснению я)
Эта утечка реалистического понимания перспектив ИИ-гонки чрезвычайно важна не только для двух ее лидеров. Но и для других участников гонки. И особенно отягощенных, как Китай (или даже больше), технологическими санкциями США.
1 https://telegra.ph/file/81596a4177b68aa470999.png
2 https://twitter.com/niubi
3 https://twitter.com/kevinsxu/status/1768365478295355647
4 https://chinai.substack.com/p/chinai-258-is-translation-already
#Китай #ИИгонка #LLM
Для Китая удержание под контролем ИИ-технологий важнее лидерства в них.
Официальное толкование раздела резолюции 3го пленума ЦК КПК 20-го созыва о безопасности ИИ.
Год назад я писал, что «Китай готов уступить США право прыгнуть в пропасть генеративного ИИ первым». Тогдашнее решение руководства страны, что генеративного ИИ без лицензии в Китае не будет, ставило Китай в крайне невыгодное положение в ИИ-гонке с США. Это решение радикально тормозит внедрение генеративного ИИ и по сути означает, что Китай отказывается от первенства во внедрении важнейшего класса технологий [1].
Но если год назад это был все же единичный закон (который можно и пересмотреть), то теперь, по результатам прошедшего в Китае в июле 3го пленума ЦК КПК 20-го созыва, приоритет контроля над ИИ-технологиями становится госполитикой Китая минимум на 5 лет до следующего пленума.
В изданном по окончанию пленума документе «Сто вопросов по изучению и консультированию третьего пленума Центрального комитета Коммунистической партии Китая 20-го созыва (Решение)» разъясняется резолюция пленума для партийных кадров и широкой общественности. Документ написан при участии президента Си и трех других из семи высших руководителей Постоянного комитета Политбюро КПК: председателя Китайского народного политического консультативного совета ВАН Хунин (王沪宁), первого секретаря Секретариата КПК ЦАЙ Ци (蔡奇) и исполнительного вице-премьера ДИН Сюэсян (丁薛祥).
По вопросу о госполитике Китая в сфере ИИ в документе приводятся аргументы против приоритета развития над управлением. Вместо этого предлагается, чтобы и развитие, и управление шли рука об руку, прогрессируя одновременно.
Далее ключевые цитаты из документа:
• Резолюция пленума ставит цель "Создания системы надзора за безопасностью ИИ". Это важная мера, предпринятая ЦК для согласования развития и безопасности, а также для активного реагирования на риски, связанные с безопасностью ИИ.
• ИИ — это стратегическая технология, ведущая текущий раунд научно-технической революции и промышленной трансформации.
• После более чем 60 лет эволюции ИИ вступил в новый период взрывного роста по всему миру. Поэтому создание систем надзора за безопасностью ИИ является неизбежным требованием для реагирования на быстрое развитие ИИ.
• Генеральный секретарь Си указывает на необходимость усиления оценки и предотвращения потенциальных рисков от развития ИИ, защиты интересов людей и национальной безопасности и обеспечения того, чтобы ИИ был безопасным, надежным и контролируемым.
• Это окажет глубокое влияние на государственное управление, экономическую безопасность, социальную стабильность и даже глобальное управление.
• Мы должны отказаться от беспрепятственного роста, который достигается ценой жертвы безопасности, и достичь «развития и управления одновременно» путем усиления надзора за безопасностью ИИ.
Подробней см. [2]
Картинка https://telegra.ph/file/2ee6504b1235a8bbd200f.jpg
1 https://yangx.top/theworldisnoteasy/1759
2 https://aisafetychina.substack.com/p/what-does-the-chinese-leadership
#Китай #ИИрегулирование #ИИгонка
Официальное толкование раздела резолюции 3го пленума ЦК КПК 20-го созыва о безопасности ИИ.
Год назад я писал, что «Китай готов уступить США право прыгнуть в пропасть генеративного ИИ первым». Тогдашнее решение руководства страны, что генеративного ИИ без лицензии в Китае не будет, ставило Китай в крайне невыгодное положение в ИИ-гонке с США. Это решение радикально тормозит внедрение генеративного ИИ и по сути означает, что Китай отказывается от первенства во внедрении важнейшего класса технологий [1].
Но если год назад это был все же единичный закон (который можно и пересмотреть), то теперь, по результатам прошедшего в Китае в июле 3го пленума ЦК КПК 20-го созыва, приоритет контроля над ИИ-технологиями становится госполитикой Китая минимум на 5 лет до следующего пленума.
В изданном по окончанию пленума документе «Сто вопросов по изучению и консультированию третьего пленума Центрального комитета Коммунистической партии Китая 20-го созыва (Решение)» разъясняется резолюция пленума для партийных кадров и широкой общественности. Документ написан при участии президента Си и трех других из семи высших руководителей Постоянного комитета Политбюро КПК: председателя Китайского народного политического консультативного совета ВАН Хунин (王沪宁), первого секретаря Секретариата КПК ЦАЙ Ци (蔡奇) и исполнительного вице-премьера ДИН Сюэсян (丁薛祥).
По вопросу о госполитике Китая в сфере ИИ в документе приводятся аргументы против приоритета развития над управлением. Вместо этого предлагается, чтобы и развитие, и управление шли рука об руку, прогрессируя одновременно.
Далее ключевые цитаты из документа:
• Резолюция пленума ставит цель "Создания системы надзора за безопасностью ИИ". Это важная мера, предпринятая ЦК для согласования развития и безопасности, а также для активного реагирования на риски, связанные с безопасностью ИИ.
• ИИ — это стратегическая технология, ведущая текущий раунд научно-технической революции и промышленной трансформации.
• После более чем 60 лет эволюции ИИ вступил в новый период взрывного роста по всему миру. Поэтому создание систем надзора за безопасностью ИИ является неизбежным требованием для реагирования на быстрое развитие ИИ.
• Генеральный секретарь Си указывает на необходимость усиления оценки и предотвращения потенциальных рисков от развития ИИ, защиты интересов людей и национальной безопасности и обеспечения того, чтобы ИИ был безопасным, надежным и контролируемым.
• Это окажет глубокое влияние на государственное управление, экономическую безопасность, социальную стабильность и даже глобальное управление.
• Мы должны отказаться от беспрепятственного роста, который достигается ценой жертвы безопасности, и достичь «развития и управления одновременно» путем усиления надзора за безопасностью ИИ.
Подробней см. [2]
Картинка https://telegra.ph/file/2ee6504b1235a8bbd200f.jpg
1 https://yangx.top/theworldisnoteasy/1759
2 https://aisafetychina.substack.com/p/what-does-the-chinese-leadership
#Китай #ИИрегулирование #ИИгонка
Деньги в ИИ решают все.
США в 30 раз опережают Германию и Францию, и даже Китай отстал в 3 раза.
В новом синтетическом отчете компании “ZeroBounce”, обобщающем данные 6ти аналитических источников, анализируются ключевые показатели развития индустрии ИИ в 13 лидирующих странах мира.
Анализируются: частные инвестиции за последнее десятилетие, количество стартапов, связанных с ИИ, и критерии, связанные с рабочей силой и вакансиями в области ИИ.
Цифры говорят сами за себя. Мне лишь остается обратить ваше внимание на три интересные аномалии.
1. В прошлом году по объему частных инвестиций в ИИ США на порядок (!) обошли Китай.
2. За период 2013-2024 в США возникло 5.5К+ (!) стартапов по ИИ.
3. В области ИИ в Китае работает уже 0,64% (!) от всех работающих в стране.
#ИИгонка #США #Китай
США в 30 раз опережают Германию и Францию, и даже Китай отстал в 3 раза.
В новом синтетическом отчете компании “ZeroBounce”, обобщающем данные 6ти аналитических источников, анализируются ключевые показатели развития индустрии ИИ в 13 лидирующих странах мира.
Анализируются: частные инвестиции за последнее десятилетие, количество стартапов, связанных с ИИ, и критерии, связанные с рабочей силой и вакансиями в области ИИ.
Цифры говорят сами за себя. Мне лишь остается обратить ваше внимание на три интересные аномалии.
1. В прошлом году по объему частных инвестиций в ИИ США на порядок (!) обошли Китай.
2. За период 2013-2024 в США возникло 5.5К+ (!) стартапов по ИИ.
3. В области ИИ в Китае работает уже 0,64% (!) от всех работающих в стране.
#ИИгонка #США #Китай
Теперь Илон Маск за год попытается решить задачу покруче даже полета на Марс.
• Будущее человечества в значительной мере зависит от прогресса ИИ-технологий.
• А этот прогресс (как мы понимаем его сегодня) сильно зависит от пределов масштабирования интеллектуальности ИИ-систем при увеличении вычислительной мощи компьютеров, на которых эти системы будут работать.
• Т.о. теперь все упирается в ответ на вопрос - каковы пределы такого масштабирования?
Можно как угодно относиться к Маску, но он не только взялся ответить на этот вопрос, но и собирается сделать это уже в следующем году.
План Маска таков.
• Модель Grok 2 от xAI Илона Маска недавно догнала GPT-4 от OpenAI за рекордное время, будучи обучена всего на 15 000 графических процессоров.
• Вчера xAI запустила Colossus — самый мощный в мире кластер искусственного интеллекта, работающий на базе аж 100 000 графических процессоров Nvidia H100.
• Colossus был построен всего за 122 дня и, как планируется, вскоре его размер удвоится до 200 000 графических процессоров (50 000 H200).
• Увеличение вычислительной мощности на 1.5 порядка позволит вплотную приблизиться к точке возможного перегиба тренда масштабируемости ИИ-систем.
• А за этой точкой будет ответ:
- либо рост интеллектуальности замедлится (например, из-за высокой стоимости вычислений);
- либо вообще остановится (из-за архитектурных ограничений моделей)
- либо пойдет дальше (и тогда, привет ИИ-сингулярность!)
Интрига Маска в том, что OpenAI предполагали достичь этой точки лишь в 2027. А Маск, включившись в игру, имеет все основания, чтобы сделать это на 2 года раньше.
Картинка https://telegra.ph/file/d8ed1593a20dbee6c2355.jpg
https://x.com/elonmusk/status/1830650370336473253
#ИИгонка
• Будущее человечества в значительной мере зависит от прогресса ИИ-технологий.
• А этот прогресс (как мы понимаем его сегодня) сильно зависит от пределов масштабирования интеллектуальности ИИ-систем при увеличении вычислительной мощи компьютеров, на которых эти системы будут работать.
• Т.о. теперь все упирается в ответ на вопрос - каковы пределы такого масштабирования?
Можно как угодно относиться к Маску, но он не только взялся ответить на этот вопрос, но и собирается сделать это уже в следующем году.
План Маска таков.
• Модель Grok 2 от xAI Илона Маска недавно догнала GPT-4 от OpenAI за рекордное время, будучи обучена всего на 15 000 графических процессоров.
• Вчера xAI запустила Colossus — самый мощный в мире кластер искусственного интеллекта, работающий на базе аж 100 000 графических процессоров Nvidia H100.
• Colossus был построен всего за 122 дня и, как планируется, вскоре его размер удвоится до 200 000 графических процессоров (50 000 H200).
• Увеличение вычислительной мощности на 1.5 порядка позволит вплотную приблизиться к точке возможного перегиба тренда масштабируемости ИИ-систем.
• А за этой точкой будет ответ:
- либо рост интеллектуальности замедлится (например, из-за высокой стоимости вычислений);
- либо вообще остановится (из-за архитектурных ограничений моделей)
- либо пойдет дальше (и тогда, привет ИИ-сингулярность!)
Интрига Маска в том, что OpenAI предполагали достичь этой точки лишь в 2027. А Маск, включившись в игру, имеет все основания, чтобы сделать это на 2 года раньше.
Картинка https://telegra.ph/file/d8ed1593a20dbee6c2355.jpg
https://x.com/elonmusk/status/1830650370336473253
#ИИгонка
Что задумал Маск в ИИ?
Вероятная цель - сверхчеловеческий ИИ-математик в 2025-2026
Все теряются в догадках, что за супер-задачу собрался решить Илон Маск, отложив на время даже полет на Марс и вбухивая большие деньги в Colossus — самый мощный в мире ИИ-кластер [1].
Это, точно, не AGI. Ибо Маск – совсем не Альтман, которому все равно, сколько спалить миллиардов во имя призрачного AGI ("Сжигаем ли мы 500 миллионов долларов в год или 5 миллиардов долларов, или 50 миллиардов долларов в год - мне все равно, мне искренне все равно… Пока мы можем найти способ оплачивать счета, мы делаем AGI. Это будет дорого" [2]).
Маск – гениальный мастер техно-хайпования. Но он практик. Как бы ни фантастично выглядели его цели, он их на самом деле хочет достичь. И, следовательно, эта цель не должна быть призрачной. А цель - AGI, как минимум на ближайшие годы, именно такова.
Вот почему столь интересен проговор «главного математического ИИ-знайки» в супер-команде спецов, нанятых Маском в xAI [3] - Кристиана Сегеди.
«Прогресс идёт быстрее, чем я ожидал раньше. Ранее моей целевой датой был приблизительно 2029 год. Теперь это 2026 год для создания сверхчеловеческого ИИ-математика. Хотя это амбициозно, даже 2025 год возможен». [4]
В отличие от призрачного AGI, сверхчеловеческий ИИ-математик – вполне понятная и достижимая цель. И единственно, что нужно для ее наискорейшего достижения – много-много супер-мощного HW.
И поэтому, полагаю, Сагеди сказал правду. Это и есть цель Маска.
А последствия ее достижения могут быть круче полета на Марс.
1 https://yangx.top/theworldisnoteasy/2001
2 https://www.youtube.com/watch?v=GLKoDkbS1Cg
3 https://trends.rbc.ru/trends/industry/64b63dfb9a7947ab3fc40e88
4 https://x.com/ChrSzegedy/status/1831330997239255186
#ИИгонка
Вероятная цель - сверхчеловеческий ИИ-математик в 2025-2026
Все теряются в догадках, что за супер-задачу собрался решить Илон Маск, отложив на время даже полет на Марс и вбухивая большие деньги в Colossus — самый мощный в мире ИИ-кластер [1].
Это, точно, не AGI. Ибо Маск – совсем не Альтман, которому все равно, сколько спалить миллиардов во имя призрачного AGI ("Сжигаем ли мы 500 миллионов долларов в год или 5 миллиардов долларов, или 50 миллиардов долларов в год - мне все равно, мне искренне все равно… Пока мы можем найти способ оплачивать счета, мы делаем AGI. Это будет дорого" [2]).
Маск – гениальный мастер техно-хайпования. Но он практик. Как бы ни фантастично выглядели его цели, он их на самом деле хочет достичь. И, следовательно, эта цель не должна быть призрачной. А цель - AGI, как минимум на ближайшие годы, именно такова.
Вот почему столь интересен проговор «главного математического ИИ-знайки» в супер-команде спецов, нанятых Маском в xAI [3] - Кристиана Сегеди.
«Прогресс идёт быстрее, чем я ожидал раньше. Ранее моей целевой датой был приблизительно 2029 год. Теперь это 2026 год для создания сверхчеловеческого ИИ-математика. Хотя это амбициозно, даже 2025 год возможен». [4]
В отличие от призрачного AGI, сверхчеловеческий ИИ-математик – вполне понятная и достижимая цель. И единственно, что нужно для ее наискорейшего достижения – много-много супер-мощного HW.
И поэтому, полагаю, Сагеди сказал правду. Это и есть цель Маска.
А последствия ее достижения могут быть круче полета на Марс.
1 https://yangx.top/theworldisnoteasy/2001
2 https://www.youtube.com/watch?v=GLKoDkbS1Cg
3 https://trends.rbc.ru/trends/industry/64b63dfb9a7947ab3fc40e88
4 https://x.com/ChrSzegedy/status/1831330997239255186
#ИИгонка
Telegram
Малоизвестное интересное
Теперь Илон Маск за год попытается решить задачу покруче даже полета на Марс.
• Будущее человечества в значительной мере зависит от прогресса ИИ-технологий.
• А этот прогресс (как мы понимаем его сегодня) сильно зависит от пределов масштабирования интеллектуальности…
• Будущее человечества в значительной мере зависит от прогресса ИИ-технологий.
• А этот прогресс (как мы понимаем его сегодня) сильно зависит от пределов масштабирования интеллектуальности…
Кай-Фу Ли объявил войну Nvidia и всей ИИ-экосистеме США.
И судя по его последним достижениям, шансы победить есть.
Потрясающе интересное выступление китайского ИИ гуру Кай-Фу Ли будут теперь долго обсуждать. Это абсолютно революционное выступление, прозвучавшее на закрытой дискуссии Collective[i] Forecast, Ли посвятил трем темам.
1. ИИ-экосистема США (основа мировой ИИ-экосистемы) «невероятно больна». Её необходимо кардинально перестроить, иначе на реальном (практическом) прогрессе ИИ можно ставить крест.
Сегодня ИИ-экосистема состоит из Nvidia и мелких производителей ИИ чипов. При этом производители чипов для ИИ зарабатывают сейчас в год $75 млрд, а вендоры ИИ-инфраструктуры – лишь $10 млрд и вендоры ИИ-приложений — лишь $5 млрд».
«Если мы продолжим работать в этой перевернутой пирамиде, это станет проблемой» — сказал Ли. Т.к. это беспрецедентный переворот в экономике классической технологической отрасли. Традиционно производители приложений получают больше, чем поставщики чипов и систем (напр. Salesforce, внедряя CRM, получает куда больше, чем Dell и Intel, производящие компьютеры и чипы для запуска CRM в облаке)
Оздоровить ИИ-экосистему может лишь создание ИИ-компаниями собственных вертикальных интегрированных технологических стеков, как это сделала Apple с iPhone. Только так станет возможным значительно снизить стоимость генеративного ИИ.
2. Главным направление в разработке моделей должно стать снижение стоимости вывода – это самое важное для создания востребованных бизнесом приложений с ИИ.
Сегодняшняя стандартная стоимость сервиса типа GPT-4 составляет $4,40 за млн токенов. Это эквивалентно 57 центам за запрос —и это непростительно дорого, ибо поисковый запрос в Google (без всякого ИИ) обойдется в 180 раз дешевле.
3. Вторым важнейшим направлением в разработке моделей должен стать переход от универсальных базовых моделей к «экспертным моделям».
Бизнесу нужны не универсальные модели, обученные на океанах неразмеченных данных, собранных из Интернета и других источников. Подход «экспертных моделей» подразумевает создание множества нейронок, обученных на отраслевых данных. Это может обеспечить достижение того же уровня «интеллекта», что и универсальная базовая модель, при использовании гораздо меньшей вычислительной мощности.
Самое потрясающее, что все 3 пункта – это не предложения, основанные на предположениях. Стартап Кай-Фу Ли «01.ai» уже делает все это на практике.
И не просто делает, а уже добивается уникальных результатов.
• Их новая модель Yi-Lightning занимает 6-е место в мире (выше выпущенной 5 мес назад GPT-4o). Но при этом это очень маленькая модель, которая чрезвычайно быстра и недорога (всего $0,14 за млн токенов ). Её производительность сопоставима с Grok-2. Но она обучалась всего на 2000 H100 в течение 1 месяца. Что демонстрирует ненужность 100 тыс H100 и ярдов затрат (обучение Yi-Lightning стоило всего $3 млн).
• 01.ai применяет «экспертный» подход к сбору данных. И хотя «инженерам приходится проводить массу неблагодарной черновой работы» по маркировке и ранжированию данных, но – как считает Ли, - Китай с его резервом дешевых инженерных кадров может сделать это лучше, чем США.
• И даже в создании собственного вертикального интегрированного техно-стека есть прогресс. Напр, за счет использования собственных аппаратных инноваций, стоимость одного запроса к ИИ-поисковику BeaGo составляет всего около 1 цента (что приблизилось к стоимости запроса Google без всякого ИИ)
И еще 3 цитаты Ли:
Сила Китая не в том, чтобы делать лучшие прорывные исследования, которые никто не делал раньше, с бюджетом без ограничений. Сила Китая в том, чтобы построить хорошо, быстро, надежно и при этом дешево.
Для предприятий новое поколение ИИ станет их мозгом, а не периферийными приблудами. Для нефтяных компании ИИ будет добывать нефть. Для финансовых — зарабатывать на деньгах.
Для потребителей сегодняшняя модель смартфона, скорее всего, исчезнет.
А ведь еще 1.5 года назад Ли предупреждал - Китай не станет догонять США в ИИ, а сразу пойдет на обгон.
#ИИгонка #Китай
И судя по его последним достижениям, шансы победить есть.
Потрясающе интересное выступление китайского ИИ гуру Кай-Фу Ли будут теперь долго обсуждать. Это абсолютно революционное выступление, прозвучавшее на закрытой дискуссии Collective[i] Forecast, Ли посвятил трем темам.
1. ИИ-экосистема США (основа мировой ИИ-экосистемы) «невероятно больна». Её необходимо кардинально перестроить, иначе на реальном (практическом) прогрессе ИИ можно ставить крест.
Сегодня ИИ-экосистема состоит из Nvidia и мелких производителей ИИ чипов. При этом производители чипов для ИИ зарабатывают сейчас в год $75 млрд, а вендоры ИИ-инфраструктуры – лишь $10 млрд и вендоры ИИ-приложений — лишь $5 млрд».
«Если мы продолжим работать в этой перевернутой пирамиде, это станет проблемой» — сказал Ли. Т.к. это беспрецедентный переворот в экономике классической технологической отрасли. Традиционно производители приложений получают больше, чем поставщики чипов и систем (напр. Salesforce, внедряя CRM, получает куда больше, чем Dell и Intel, производящие компьютеры и чипы для запуска CRM в облаке)
Оздоровить ИИ-экосистему может лишь создание ИИ-компаниями собственных вертикальных интегрированных технологических стеков, как это сделала Apple с iPhone. Только так станет возможным значительно снизить стоимость генеративного ИИ.
2. Главным направление в разработке моделей должно стать снижение стоимости вывода – это самое важное для создания востребованных бизнесом приложений с ИИ.
Сегодняшняя стандартная стоимость сервиса типа GPT-4 составляет $4,40 за млн токенов. Это эквивалентно 57 центам за запрос —и это непростительно дорого, ибо поисковый запрос в Google (без всякого ИИ) обойдется в 180 раз дешевле.
3. Вторым важнейшим направлением в разработке моделей должен стать переход от универсальных базовых моделей к «экспертным моделям».
Бизнесу нужны не универсальные модели, обученные на океанах неразмеченных данных, собранных из Интернета и других источников. Подход «экспертных моделей» подразумевает создание множества нейронок, обученных на отраслевых данных. Это может обеспечить достижение того же уровня «интеллекта», что и универсальная базовая модель, при использовании гораздо меньшей вычислительной мощности.
Самое потрясающее, что все 3 пункта – это не предложения, основанные на предположениях. Стартап Кай-Фу Ли «01.ai» уже делает все это на практике.
И не просто делает, а уже добивается уникальных результатов.
• Их новая модель Yi-Lightning занимает 6-е место в мире (выше выпущенной 5 мес назад GPT-4o). Но при этом это очень маленькая модель, которая чрезвычайно быстра и недорога (всего $0,14 за млн токенов ). Её производительность сопоставима с Grok-2. Но она обучалась всего на 2000 H100 в течение 1 месяца. Что демонстрирует ненужность 100 тыс H100 и ярдов затрат (обучение Yi-Lightning стоило всего $3 млн).
• 01.ai применяет «экспертный» подход к сбору данных. И хотя «инженерам приходится проводить массу неблагодарной черновой работы» по маркировке и ранжированию данных, но – как считает Ли, - Китай с его резервом дешевых инженерных кадров может сделать это лучше, чем США.
• И даже в создании собственного вертикального интегрированного техно-стека есть прогресс. Напр, за счет использования собственных аппаратных инноваций, стоимость одного запроса к ИИ-поисковику BeaGo составляет всего около 1 цента (что приблизилось к стоимости запроса Google без всякого ИИ)
И еще 3 цитаты Ли:
Сила Китая не в том, чтобы делать лучшие прорывные исследования, которые никто не делал раньше, с бюджетом без ограничений. Сила Китая в том, чтобы построить хорошо, быстро, надежно и при этом дешево.
Для предприятий новое поколение ИИ станет их мозгом, а не периферийными приблудами. Для нефтяных компании ИИ будет добывать нефть. Для финансовых — зарабатывать на деньгах.
Для потребителей сегодняшняя модель смартфона, скорее всего, исчезнет.
А ведь еще 1.5 года назад Ли предупреждал - Китай не станет догонять США в ИИ, а сразу пойдет на обгон.
#ИИгонка #Китай