Хочу с вами поделиться опытом внедрения различных ML штуковин и подводными камнями, которые могут быть на этом замечательном пути. ‼️Советую на них обратить внимание и DS-ам, и продактам/руководителям проектов.

А сподвиг меня интересный кейс, который был на митапе.

Сейчас расскажу:
Сделали модельку, которая прогнозирует, что сотрудник в скором времени может уволиться. Всё было сделано по красоте. С выборками, алгоритмами, фичами, параметрами - никаких вопросов. Но почему-то в проде результаты метрик были плохие…

Как думаете, почему? (метрики стандартные для бинарной классификации, не в них дело)
👇🏼👇🏼👇🏼ваши гипотезы

А позже я расскажу в чём была вся соль и поделюсь кейсами, с которыми сталкивалась лично 😜

Продолжу про плохие метрики на проде…
Было много ответов, что всё дело в выборках/фичах (отличаются на проде). Это довольно частая ситуация, но в этом кейсе причина была в следующем:

HR общались с потенциальными кандидатами на увольнение, договаривались о чём-то, и кандидаты НЕ увольнялись, хотя планировали. И соответственно, на проде картина была такая, что DS‘ы прогнозируют одно, а по факту никто не увольняется 😁.

Так случается, когда какой-то бизнес процесс выпадает из вида. Очень важно понимать какие действия происходят после выката в прод и как эти действия влияют на метрики, т. к. возможно логику метрик необходимо будет менять.

Мое мнение: кончено круто, когда DS понимает бизнес процессы и может всё продумать. НО! В первую очередь это задача продакта/РП, т. к. именно у него есть (должна быть) верхнеуровневая картина происходящего: кто пользователь результатов модели, что он делает с этими результатами и т. д.

Вот такой полезный кейс.

Всем привет!
❗️Я в поиске дата-инженеров и DS-ов (senior, middle)

🤖Проект на стыке больших данных и ИИ.
😎Всё по красоте: интересные задачи, вкусная зп, команда профессионалов с горящими глазами и желанием внедрять крутые инструменты

Все подробности и резюме - в лс @tanyalitdmit