{"id":14362,"date":"2023-11-09T11:33:34","date_gmt":"2023-11-09T10:33:34","guid":{"rendered":"https:\/\/telecomkh.info\/?p=14362"},"modified":"2023-11-09T11:33:34","modified_gmt":"2023-11-09T10:33:34","slug":"los-quebraderos-de-cabeza-de-la-ia-generativa","status":"publish","type":"post","link":"https:\/\/telecomkh.info\/?p=14362","title":{"rendered":"Los quebraderos de cabeza de la IA generativa"},"content":{"rendered":"

La IA generativa lleva meses acaparando titulares y conversaciones en la comunidad profesional especializada en ciberseguridad. Muchos profesionales est\u00e1n aprovechando las ventajas de esta tecnolog\u00eda para mejorar la redacci\u00f3n de sus correos electr\u00f3nicos o incluso para escribir art\u00edculos en blogs o en redes sociales, pero los responsables de seguridad de las organizaciones en las que trabajan dichos profesionales se muestran cada vez m\u00e1s preocupados por la posibilidad de incorporar la Inteligencia Artificial en sus rutinas de protecci\u00f3n de los activos corporativos<\/strong><\/p>\n

 <\/p>\n

Por Miguel de Castro, ingeniero de ventas en CrowdStrike Espa\u00f1a<\/em><\/span><\/p>\n

La inquietud que muestran los CISO es normal. La IA generativa causa sentimientos encontrados: por un lado es f\u00e1cil reconocer su capacidad para mejorar la productividad o incluso para ayudar en sus rutinas a los equipos de tecnolog\u00eda o seguridad que ven como aumentan sus responsabilidades sin que se incrementen los recursos necesarios para darles respuesta. Pero, por otro lado, los riesgos de esta tecnolog\u00eda transformadora son tambi\u00e9n muchos.
\nLa primera preocupaci\u00f3n es muy b\u00e1sica. La mayor\u00eda de estas herramientas se albergan online y es necesario enviar datos propios o de clientes para poder aprovecharlas. Si leemos los t\u00e9rminos de servicio de la herramienta que hayamos elegido, es probable que haya poca informaci\u00f3n sobre confidencialidad, seguridad, cumplimiento normativo\u2026 y, sin embargo, s\u00ed que encontraremos datos sobre el uso de la informaci\u00f3n que vamos a compartir para entrenar la herramienta, es decir, se almacenar\u00e1 la informaci\u00f3n corporativa para mejorar los modelos generales.
\nSi seguimos con la lista de inquietudes, la siguiente ser\u00eda la validez de las respuestas que nos da este tipo de herramientas. Los modelos de IA tienden a \u201calucinar\u201d, es decir, a dar por cierta informaci\u00f3n err\u00f3nea. Su objetivo es proveer de respuestas que parezcan precisas, no que sean precisas. Un ejemplo de esta situaci\u00f3n, sin ir m\u00e1s lejos, lo encontramos en el uso de ChatGPT que hizo un grupo de abogados en un juicio para buscar argumentos y defender a su cliente\u2026 con casos que resultaron ser ficticios. Tambi\u00e9n fue muy sonada la denuncia de Getty Images a los desarrolladores de la herramienta Stability AI por haber copiado sin permiso 12 millones de im\u00e1genes para entrenar su modelo.
\nSi, al final, el equipo de tecnolog\u00eda decide incorporar una herramienta de IA generativa como parte de uno de los productos de la organizaci\u00f3n, lo primero que hay que considerar es el proceso de compras: si los ingenieros empiezan a adquirir productos con sus propias tarjetas de cr\u00e9dito, los desaf\u00edos a los que nos enfrentaremos ser\u00e1n muy peligrosos. Si decidimos ir a por un modelo abierto, adem\u00e1s, es imprescindible que el equipo de legal de la compa\u00f1\u00eda revise bien los t\u00e9rminos del contrato, ya que muchas licencias parecen de c\u00f3digo abierto a primera vista pero luego no lo son y restringen muchas de las utilidades disponibles.
\nTambi\u00e9n puede ocurrir que decidamos entrenar un modelo propio precisamente a partir de una herramienta de c\u00f3digo abierto. Para ello es importante tener en cuenta qu\u00e9 tipo de datos utilizamos y si son apropiados para nuestros objetivos, ya que puede influir en los resultados una vez que la herramienta pase a producci\u00f3n y responder con datos reales de esas pruebas previas, y que podr\u00edan ser confidenciales sobre algunos clientes. En otras palabras, es muy sencillo que los datos se filtren entre modelos y puedan causar problemas legales a la organizaci\u00f3n.
\nM\u00e1s directamente relacionado con la ciberseguridad en concreto, las herramientas de IA generativa han creado su propia de superficie de ataque, especialmente con inyecciones indirectas de prompts: si un ciberdelincuente es capaz de llegar a controlar la introducci\u00f3n de texto en un modelo de lenguaje generativo, se puede llegar a confundir al modelo y las reglas que utiliza.
\nY, finalmente, hay que estar muy al tanto de la regulaci\u00f3n que se est\u00e1 aprobando en todo el mundo y que se modifica muy r\u00e1pidamente debido tambi\u00e9n a la velocidad de evoluci\u00f3n de este tipo de herramientas. Sin ir m\u00e1s lejos, de momento al menos, es fundamental conocer en profundidad la Ley de IA de la UE, el marco de gesti\u00f3n de riesgos de IA del NIST o el proyecto de la Casa Blanca sobre la declaraci\u00f3n de derechos de la IA.
\nAl menos una cosa est\u00e1 clara: la IA generativa ha llegado para quedarse y tanto los profesionales de nuestra organizaci\u00f3n como nuestros clientes van a querer saber m\u00e1s sobre el potencial de este tipo de herramientas. Como responsables de los departamentos de seguridad, es esencial que se mantengan los altos niveles de protecci\u00f3n ante una adopci\u00f3n responsable de esta tecnolog\u00eda para evitar que el entusiasmo actual se convierta en un arrepentimiento futuro. Solamente adoptar la IA de forma coherente y sosegada ayudar\u00e1 a las empresas de cualquier tama\u00f1o y sector a dar un paso adelante y a acelerar el negocio sin riesgos.<\/p>\n

Arriba, en la foto, <\/em>Migu<\/span>el de Castro, ingeniero de ventas en CrowdStrike Espa\u00f1a \/ Imagen cortes\u00eda de CrowdStrike<\/em><\/span><\/p>\n","protected":false},"excerpt":{"rendered":"

La IA generativa lleva meses acaparando titulares y conversaciones en la comunidad profesional especializada en ciberseguridad. Muchos profesionales est\u00e1n aprovechando las ventajas de esta tecnolog\u00eda para mejorar la redacci\u00f3n de sus correos electr\u00f3nicos o incluso para escribir art\u00edculos en blogs o en redes sociales, pero los responsables de seguridad de las organizaciones en las que … <\/p>\n

Continue reading \u00abLos quebraderos de cabeza de la IA generativa\u00bb<\/span><\/a><\/p>\n","protected":false},"author":1,"featured_media":14363,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":[],"categories":[15,7,9],"tags":[],"_links":{"self":[{"href":"https:\/\/telecomkh.info\/index.php?rest_route=\/wp\/v2\/posts\/14362"}],"collection":[{"href":"https:\/\/telecomkh.info\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/telecomkh.info\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/telecomkh.info\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/telecomkh.info\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=14362"}],"version-history":[{"count":1,"href":"https:\/\/telecomkh.info\/index.php?rest_route=\/wp\/v2\/posts\/14362\/revisions"}],"predecessor-version":[{"id":14364,"href":"https:\/\/telecomkh.info\/index.php?rest_route=\/wp\/v2\/posts\/14362\/revisions\/14364"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/telecomkh.info\/index.php?rest_route=\/wp\/v2\/media\/14363"}],"wp:attachment":[{"href":"https:\/\/telecomkh.info\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=14362"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/telecomkh.info\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=14362"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/telecomkh.info\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=14362"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}