{"id":11727,"date":"2023-04-25T10:50:12","date_gmt":"2023-04-25T09:50:12","guid":{"rendered":"https:\/\/telecomkh.info\/?p=11727"},"modified":"2023-04-25T10:50:12","modified_gmt":"2023-04-25T09:50:12","slug":"preparado-para-los-ataques-contra-tus-sistemas-ia","status":"publish","type":"post","link":"https:\/\/telecomkh.info\/?p=11727","title":{"rendered":"\u00bfPreparado para los ataques contra tus sistemas IA?"},"content":{"rendered":"

Que la Inteligencia Artificial y el Machine Learning son tecnolog\u00edas fundamentales en el desarrollo de cualquier negocio hoy en d\u00eda no es ning\u00fan descubrimiento. Sin embargo, como siempre ocurre, cualquier tecnolog\u00eda que se convierte en masiva es aprovechada por los ciberdelincuentes para encontrar vulnerabilidades y ampliar las superficies de ataque<\/strong><\/p>\n

 <\/p>\n

Por Sven Krasser, vicepresidente senior y jefe de datos en CrowdStrike<\/em><\/span><\/p>\n

De hecho, se ha empezado a hablar ya de AML, Adversarial Machine Learning, o amenazas relacionadas con la automatizaci\u00f3n de procesos. Se trata de un campo de estudio emergente que analiza los ataques a sistemas basados en Inteligencia Artificial, incluyendo evasi\u00f3n o enga\u00f1o en los detectores de IA.
\nLas soluciones basadas en Machine Learning utilizan una variedad de algoritmos y m\u00e9todos estad\u00edsticos que analizan conjuntos de datos para identificar patrones. La base de estos m\u00e9todos abre la puerta a nuevos tipos de ataques, muy bien desarrollados ya por el MITRE ATLAS de t\u00e9cnicas de ataque a sistemas de Machine Learning.
\nUna de las t\u00e9cnicas utilizadas es el envenenamiento de datos, un m\u00e9todo que persigue manipular los datos utilizados en los modelos de entrenamiento de sistemas de IA.
\nLos modelos de IA aprenden a reaccionar gracias a la informaci\u00f3n introducida desde conjuntos de millones de datos para generar lo que se llama \u201cverdad fundamental\u201d. La verdad fundamental define qu\u00e9 resultados son apropiados para el modelo y c\u00f3mo el propio modelo se retroalimentar\u00e1 despu\u00e9s. Los atacantes pueden a\u00f1adir informaci\u00f3n err\u00f3nea en las verdades fundamentales e incorporarla en los procesos de entrenamiento.
\nManipular el proceso de entrenamiento de esta manera puede llevar al modelo a reaccionar de forma incoherente ante ciertos datos: por ejemplo, puede permitir a un malware activarse en el sistema como si se tratase de una aplicaci\u00f3n leg\u00edtima. Un ejemplo de este envenenamiento lo observamos hace no mucho en el bot de Twitter Tay, que aprende de conversaciones con otros usuarios de Twitter. Pues bien, varios de estos usuarios retaron a Tay hasta que consiguieron que publicara mensajes de odio en la red social\u2026 y tardaron menos de un d\u00eda en conseguir el objetivo.
\nOtro tipo de ataque cada vez m\u00e1s com\u00fan en sistemas de Machine Learning es el de evasi\u00f3n. En este caso, los atacantes buscan burlar el sistema de predicci\u00f3n del modelo mediante peque\u00f1as perturbaciones que confunden al modelo para que clasifique err\u00f3neamente algunos datos. Y se suele hacer de forma muy sencilla: por ejemplo, basta con cambiar algunos p\u00edxeles de una imagen, en muchas ocasiones imperceptibles para el ojo humano, para que el sistema de reconocimiento falle y la clasifique siguiendo una taxonom\u00eda incorrecta.
\n\u00bfY c\u00f3mo son capaces los ciberdelincuentes de acceder a los sistemas de forma tan sencilla? Es sencillo: con conocimiento. En demasiadas ocasiones, los sistemas de IA, sus arquitecturas y sus algoritmos est\u00e1n abiertos, por lo que lanzar un ataque requiere de pocos recursos. Aunque tambi\u00e9n es cierto que los sistemas m\u00e1s protegidos pueden sufrir ataques, ya que con el simple estudio de ciertas variables matem\u00e1ticas es posible reconocer los modelos.
\nPor ejemplo, si el modelo produce una hip\u00f3tesis estad\u00edstica, como pudiera ser la probabilidad de que un archivo sea malware, con m\u00e9todos de gradiente se puede obtener mucha informaci\u00f3n: el criminal modifica el archivo de forma iterativa, comprueba la probabilidad de malware que el sistema otorga a cada archivo y ajusta las variables necesarias para aproximarse a su objetivo, de la misma manera que cuando de peque\u00f1os jug\u00e1bamos a encontrar un secreto escondido por un amigo que solo nos indicaba \u201ccaliente\u201d o \u201cfr\u00edo\u201d si nos acerc\u00e1bamos o nos alej\u00e1bamos al tesoro.
\nPara proteger los sistemas basados en Machine Learning hay diferentes m\u00e9todos. Por ejemplo, se pueden a\u00f1adir cadenas benignas a un archivo de malware para que se detecte de forma correcta. Tambi\u00e9n se pueden complicar los ataques basados en gradientes con modelos que solo produzcan etiquetas duras, es decir, sin probabilidades, solo con atributos cualitativos. Sin embargo, esto podr\u00eda utilizarse tambi\u00e9n por parte de los ciberdelincuentes para entrenar modelos basados en proxy.
\nEn definitiva, el objetivo de cualquier organizaci\u00f3n que quiera proteger sus activos de IA o ML tendr\u00eda que ser no tanto frustrar el 100% de los ataques, sino primero aumentar los costes asociados para el delincuente que quiera encontrar rutas viables para atacar; y, despu\u00e9s, ser capaces de entender cu\u00e1ndo el sistema est\u00e1 siendo atacado. Y para ello es fundamental contar con herramientas XDR y con indicadores de ataque, as\u00ed como con profesionales humanos que sean capaces de entender y reconocer cualquier ataque desde el inicio.<\/p>\n

Arriba, en la foto, Sven Krasser, vicepresidente senior y jefe de datos en CrowdStrike \/ imagen cortes\u00eda de Crowdstrike<\/em><\/span><\/p>\n","protected":false},"excerpt":{"rendered":"

Que la Inteligencia Artificial y el Machine Learning son tecnolog\u00edas fundamentales en el desarrollo de cualquier negocio hoy en d\u00eda no es ning\u00fan descubrimiento. Sin embargo, como siempre ocurre, cualquier tecnolog\u00eda que se convierte en masiva es aprovechada por los ciberdelincuentes para encontrar vulnerabilidades y ampliar las superficies de ataque   Por Sven Krasser, vicepresidente … <\/p>\n

Continue reading \u00ab\u00bfPreparado para los ataques contra tus sistemas IA?\u00bb<\/span><\/a><\/p>\n","protected":false},"author":1,"featured_media":11728,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":[],"categories":[15,7,9],"tags":[],"_links":{"self":[{"href":"https:\/\/telecomkh.info\/index.php?rest_route=\/wp\/v2\/posts\/11727"}],"collection":[{"href":"https:\/\/telecomkh.info\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/telecomkh.info\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/telecomkh.info\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/telecomkh.info\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=11727"}],"version-history":[{"count":1,"href":"https:\/\/telecomkh.info\/index.php?rest_route=\/wp\/v2\/posts\/11727\/revisions"}],"predecessor-version":[{"id":11729,"href":"https:\/\/telecomkh.info\/index.php?rest_route=\/wp\/v2\/posts\/11727\/revisions\/11729"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/telecomkh.info\/index.php?rest_route=\/wp\/v2\/media\/11728"}],"wp:attachment":[{"href":"https:\/\/telecomkh.info\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=11727"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/telecomkh.info\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=11727"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/telecomkh.info\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=11727"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}