287K subscribers
3.98K photos
688 videos
17 files
4.56K links
Погружаемся в машинное обучение и Data Science

Показываем как запускать любые LLm на пальцах.

По всем вопросам - @haarrp

@itchannels_telegram -🔥best channels

Реестр РКН: clck.ru/3Fmqri
加入频道
Как искусственный интеллект может противостоять киберугрозам

Искусственный интеллект и машинное обучение могут стать отличными помощниками испытывающим нехватку персонала группам безопасности, которым нужно быстрее и эффективнее реагировать на киберугрозы.

Уже давно стало ясно, что компаниям нужно в обязательном порядке реагировать на все возрастающее количество предупреждений систем безопасности. А с учетом скорости, с которой в 2017 году распространялись по миру атаки вирусов-вымогателей, и все более жестких законодательных требований реакция должна быть гораздо более быстрой. В условиях дефицита соответствующих специалистов компании обращаются к средствам машинного обучения и искусственного интеллекта для автоматизации процессов безопасности.

Применение искусственного интеллекта и машинного обучения для обнаружения угроз
В компаниях уже начали пользоваться искусственным интеллектом и машинным обучением для распознавания угроз безопасности и реагирования на них. Появились достаточно мощные инструменты, но нужно определиться, как включить их в общую стратегию кибербезопасности предприятия.

Например, в банке Barclays Africa применяют искусственный интеллект для обнаружения признаков компрометации систем в локальной корпоративной сети и в облаке. При этом требуется обработка гигантских объемов данных, а в связи с быстрым изменением мирового ландшафта угроз и растущим взаимодействием атакующих, для противостояния им необходимы самые передовые технологии и методы.

Внедрив машинное обучение, людям можно поручить задания, с которыми они справляются лучше машин. Сетуя на острый дефицит специалистов, в банке отмечают, что решать задачи безопасности вручную сегодня уже просто невозможно.

В компании Cadence Design Systems, предоставляющей инженерные услуги, внедрили системы непрерывного мониторинга угроз, помогающие защищать ее интеллектуальную собственность. Ежедневный трафик данных безопасности, поступающих от 30 тыс. оконечных устройств и 8,2 тыс. пользователей, составляет порядка 30-60 Гбайт, а аналитиков, которые их изучают, в компании всего 15. И это еще не все данные о сети, которые можно было бы обрабатывать, отмечают в Cadence, и, поскольку необходим анализ еще большего объема, приходится внедрять средства искусственного интеллекта, позволяющие более эффективно обнаруживать и устранять проблемы.

Для мониторинга поведения пользователей и систем, а также для управления доступом в Cadence пользуются соответствующими продуктами Aruba Networks, дочерней компании HPE. Как отмечают в Cadence, важным свойством платформы Aruba является то, что она работает по принципу обучения без учителя. Атаки меняются и становятся все сложнее, добавляют в компании: например, в течение какого-то времени может иметь место малозаметная вредоносная активность, которая лишь позднее даст злоумышленнику возможность украсть большой объем данных, инструменты же машинного обучения помогают обнаружить подобное.

Из-за перегруженности большими объемами данных по безопасности страдают даже некрупные компании. Например, у Daqri, производителя очков и шлемов дополненной реальности для архитекторов и специалистов производственных предприятий, в штате только 300 сотрудников, причем в центре обеспечения безопасности работает всего один человек. При этом процессы анализа и реагирования на события безопасности чрезвычайно трудоемкие.

С помощью средств искусственного интеллекта от компании Vectra Networks в Daqri ведут мониторинг трафика приблизительно 1,2 тыс. устройств, работающих в корпоративной среде. Автоматизированные средства способны заметить, когда кто-то выполняет сканирования портов, переходя от хоста к хосту, или, допустим, необычным способом пересылает большие объемы данных. В компании собирают всю соответствующую информацию, анализируют ее и вводят в модель глубокого обучения. Благодаря этому достигается возможность надежно прогнозировать вероятность того, что тот или иной вид трафика окажется вредоносным.

Такой анализ необходимо выполнять быстро, сократив до минимума время между распознаванием и реакцией. Искусственный интел
NYT: на рынке технологий ИИ наблюдается дефицит кадров

Крупнейшие технологические компании делают ставку на искусственный интеллект, разрабатывая голосовых помощников и самоуправляемые автомобили. Однако, как пишет New York Times, специалистов в области искусственного интеллекта не хватает. Чтобы заполучить их, IT-гиганты готовы выплачивать даже начинающим разработчикам нейросетей суммы, поражающие воображение. Как ни странно, но это только увеличивает дефицит ИИ-кадров.

По словам девяти сотрудников высокотехнологичных компаний, пожелавших остаться анонимными, даже выпускник аспирантуры в сфере ИИ может рассчитывать на зарплату от $300 000 до $500 000 в год. Это касается в том числе людей с меньшим уровнем образования и незначительным опытом работы. Наиболее известные же эксперты по ИИ получают доли в капитале компаний и заключают миллионные контракты на 4-5 лет — чтобы потом, подобно профессиональным спортсменам, продлить или перезаключить их на новых условиях. Больше всего ценятся руководители с опытом управления ИИ-проектами.

У взрывного роста зарплат ИИ-разработчиков несколько катализаторов. Во-первых, это производство автономных автомобилей, где традиционные автопроизводители конкурируют с Кремниевой долиной. Во-вторых, это инвестиции технологических гигантов, таких как Facebook и Google, в создание голосовых помощников, умных домов и ИИ-модерацию соцсетей. Сфера ИИ все еще полна трудноразрешимыми проблемами, и в мире не существует достаточного числа квалифицированных сотрудников для их решения. По оценкам Element AI, независимой лаборатории в Монреале, во всем мире насчитывается менее 10 тысяч человек, обладающих достаточными навыками для серьезной работы с искусственным интеллектом.

Более того, гиганты индустрии сами провоцируют дефицит кадров. При таком небольшом количестве ИИ-специалистов они охотно нанимают лучших представителей академических кругов; таким образом, число профессоров, которые могут преподавать технологию студентам, падает. За последние годы ради работы в бизнесе свои посты покинули четыре самых известных ИИ-преподавателя Стэнфордского университета. Аналогичная картина наблюдается в Университете штата Вашингтон: шесть из 20 профессоров по искусственному интеллекту предпочли преподаванию работу в коммерческих компаниях. Лишь некоторые ученые находят способ пойти на компромисс и сохранить университетские посты, при этом ряд вузов идет им навстречу, позволяя разделить время между преподаванием и работой в бизнесе.

По мнению экспертов, поведение компаний рационально, хотя оно может отрицательно влиять на общество. Ситуацию иллюстрируют расходы Google на приобретенную ей в 2014 году британскую ИИ-лабораторию DeepMind: по имеющимся данным, в прошлом году на зарплаты персонала из 400 сотрудников тратилось $138 млн, то есть в среднем $345 000 на сотрудника. Небольшим компаниями трудно конкурировать с подобными цифрами. Чтобы выжить, они ищут таланты в неожиданных местах, например, нанимают физиков и астрономов, обладающих необходимыми математическими навыками. Другие стартапы нанимают разработчиков нейросетей из Азии и Восточной Европы, где такие специалисты пока не так сильно востребованы. #ML #DataMining #deeplearning #neuralnets #neuralnetworks #neuralnetworks #ArtificialIntelligence #MachineLearning #DigitalTransformation #tech #ML #python
HeadHunter запустил «умный» поиск вакансий на основе искусственного интеллекта

Российский онлайн-сервис для поиска работы HeadHunter запустил поиск технологию умного поиска вакансий и сотрудников на основе искусственного интеллекта. Об этом Rusbase сообщили представители компании.

Технология позволяет пользователям, которые ищут работу, не указывать никакие предпочтения в поиске и просто начать кнопку «найти», затем система проанализирует опыт, предыдущие отклики на вакансии, резюме, зарплатные ожидания – больше ста различных параметров, и выдаст подходящие для него вакансии.
Представители HeadHunter заверили, что «умный» поиск понимает, какую профессию на самом деле ищет пользователь, и выдает ранжированные вакансии в зависимости от потребностей. В начале такого списка будут максимально подходящие позиции. Также система позволяет через «умный» поиск искать сотрудников.

«Наш искусственный интеллект фактически понимает смысл написанного в резюме и вакансии, можно сказать, мы научили машину думать, как человек. Верим, что это поможет людям находить действительно подходящую для них работу, а работодателям – ценные кадры», — рассказал директор по развитию HeadHunter Борис Вольфсон.

Источник: leader-id.ru
[Перевод] 6 строк глубокого обучения

Привет, Хабр! Такое понятие, как «Глубокое обучение», существует с 1986 года, когда его впервые употребила Рина Дехтер. Развитие технология получила в 2006 после выхода публикации Джеффри Хинтона об эффективном предобучении многослойной нейронной сети. Сегодня deep learning часто живет в связке с распознаванием речи, пониманием языка и компьютерным зрением. Под катом вы узнаете про использование алгоритмов глубокого обучения в SQL. Заглядывайте!

Читать дальше → https://goo.gl/8Rzkm8
New Poll: Which #DataScience / #MachineLearning methods and tools you used? http://bit.ly/2zTjWP9