AI security risk assessment
История с AI/ML Ops стремительно набирает обороты в ИТ-комьюнити. Мы же сегодня начнем эту неделю с AI Security.
Microsoft выпустила статью "AI security risk assessment using Counterfit", в которой представила свой новый открытый инструмент Counterfit для оценки ML-систем на безопасность. Безопасность ML - на сегодняшний день супер-молодая ниша. Организация MITRE только полгода назад представила матрицу угроз "Adversarial ML Threat Matrix", которая пока еще не успела стать частью ATT&CK matrix.
Microsoft также рассказала про bug bar, где собираются различные атаки на ML-системы и набор вопросов, которые стоит задать для моделирования угроз ML. В статье также упоминаются другие инструменты безопасности: Adversarial Robustness Toolbox and TextAttack.
#ml
История с AI/ML Ops стремительно набирает обороты в ИТ-комьюнити. Мы же сегодня начнем эту неделю с AI Security.
Microsoft выпустила статью "AI security risk assessment using Counterfit", в которой представила свой новый открытый инструмент Counterfit для оценки ML-систем на безопасность. Безопасность ML - на сегодняшний день супер-молодая ниша. Организация MITRE только полгода назад представила матрицу угроз "Adversarial ML Threat Matrix", которая пока еще не успела стать частью ATT&CK matrix.
Microsoft также рассказала про bug bar, где собираются различные атаки на ML-системы и набор вопросов, которые стоит задать для моделирования угроз ML. В статье также упоминаются другие инструменты безопасности: Adversarial Robustness Toolbox and TextAttack.
#ml
Microsoft Security Blog
AI security risk assessment using Counterfit | Microsoft Security Blog
Counterfit is a command-line tool for security professionals to red team AI systems and systematically scans for vulnerabilities as part of AI risk assessment.