Продолжу про плохие метрики на проде…
Было много ответов, что всё дело в выборках/фичах (отличаются на проде). Это довольно частая ситуация, но в этом кейсе причина была в следующем:

HR общались с потенциальными кандидатами на увольнение, договаривались о чём-то, и кандидаты НЕ увольнялись, хотя планировали. И соответственно, на проде картина была такая, что DS‘ы прогнозируют одно, а по факту никто не увольняется 😁.

Так случается, когда какой-то бизнес процесс выпадает из вида. Очень важно понимать какие действия происходят после выката в прод и как эти действия влияют на метрики, т. к. возможно логику метрик необходимо будет менять.

Мое мнение: кончено круто, когда DS понимает бизнес процессы и может всё продумать. НО! В первую очередь это задача продакта/РП, т. к. именно у него есть (должна быть) верхнеуровневая картина происходящего: кто пользователь результатов модели, что он делает с этими результатами и т. д.

Вот такой полезный кейс.

Всем привет!
❗️Я в поиске дата-инженеров и DS-ов (senior, middle)

🤖Проект на стыке больших данных и ИИ.
😎Всё по красоте: интересные задачи, вкусная зп, команда профессионалов с горящими глазами и желанием внедрять крутые инструменты

Все подробности и резюме - в лс @tanyalitdmit