Microsoft, en colaboración con MITRE, IBM, NVIDIA y Bosch, ha lanzado un nuevo marco abierto que tiene como objetivo ayudar a los analistas de seguridad a detectar, responder y remediar los ataques de los adversarios contra los sistemas de aprendizaje automático (ML).
Llamada Adversarial ML Threat Matrix, la iniciativa es un intento de organizar las diferentes técnicas empleadas por adversarios maliciosos para subvertir los sistemas de ML.
Así como la inteligencia artificial (AI) y el ML se están implementando en una amplia variedad de aplicaciones novedosas, los actores de amenazas no solo pueden abusar de la tecnología para potenciar su malware, sino que también pueden aprovecharla para engañar a los modelos de aprendizaje automático con conjuntos de datos envenenados, lo que genera sistemas beneficiosos. para tomar decisiones incorrectas y representar una amenaza para la estabilidad y la seguridad de las aplicaciones de IA.
De hecho, los investigadores de ESET descubrieron el año pasado que Emotet, un notorio malware basado en correo electrónico detrás de varias campañas de spam impulsadas por botnets y ataques de ransomware, estaba usando ML para mejorar su orientación.
Luego, a principios de este mes, Microsoft advirtió sobre una nueva variedad de ransomware para Android que incluía un modelo de aprendizaje automático que, aunque aún no se había integrado en el malware, podría usarse para colocar la imagen de la nota de rescate en la pantalla del dispositivo móvil sin ninguna distorsión.
Además, los investigadores han estudiado lo que se denomina ataques de inversión de modelo, en los que se abusa del acceso a un modelo para inferir información sobre los datos de entrenamiento.
Según un informe de Gartner citado por Microsoft, se espera que el 30 % de todos los ciberataques de IA para 2022 aprovechen el envenenamiento de datos de entrenamiento, el robo de modelos o muestras adversarias para atacar sistemas basados en aprendizaje automático.
«A pesar de estas razones convincentes para asegurar los sistemas ML, la encuesta de Microsoft que abarcó a 28 empresas encontró que la mayoría de los profesionales de la industria aún no han llegado a un acuerdo con el aprendizaje automático antagónico», dijo el fabricante de Windows. «Veinticinco de las 28 empresas indicaron que no cuentan con las herramientas adecuadas para proteger sus sistemas ML».
Adversarial ML Threat Matrix espera abordar las amenazas contra el uso de armas de datos con un conjunto seleccionado de vulnerabilidades y comportamientos de adversarios que Microsoft y MITRE examinaron para que sean efectivos contra los sistemas de ML.
La idea es que las empresas puedan usar Adversarial ML Threat Matrix para probar la resiliencia de sus modelos de IA mediante la simulación de escenarios de ataque realistas utilizando una lista de tácticas para obtener acceso inicial al entorno, ejecutar modelos de ML inseguros, contaminar datos de entrenamiento y filtrar información confidencial. a través de ataques de robo de modelos.
«El objetivo de Adversarial ML Threat Matrix es posicionar los ataques a los sistemas ML en un marco en el que los analistas de seguridad puedan orientarse en estas amenazas nuevas y futuras», dijo Microsoft.
«La matriz está estructurada como el marco ATT & CK, debido a su amplia adopción entre la comunidad de analistas de seguridad; de esta manera, los analistas de seguridad no tienen que aprender un marco nuevo o diferente para conocer las amenazas a los sistemas ML».
El desarrollo es el último de una serie de medidas emprendidas para proteger a la IA del envenenamiento de datos y ataques de evasión de modelos. Vale la pena señalar que los investigadores de la Universidad John Hopkins desarrollaron un marco denominado TrojAI diseñado para frustrar los ataques de troyanos, en el que se modifica un modelo para responder a los activadores de entrada que hacen que infiera una respuesta incorrecta.
