La seguridad de los modelos de IA es muy importante tanto para las empresas de aplicaciones de IA como para los usuarios y clientes que utilizan aplicaciones de IA. Para las empresas de IA, además de proteger la seguridad de los modelos de IA, también vale la pena prestar atención a la capacidad de proteger los datos y algoritmos originales de las fugas sin aumentar los costos de trabajo innecesarios.
Una empresa llamada HiddenLayer ha creado una plataforma de seguridad integral que proporciona seguridad de IA plug-and-play sin añadir complejidad innecesaria a nivel de modelo de IA ni acceder a datos y algoritmos sin procesar.
Recientemente, la compañía recibió una ronda Serie A de 50 millones de dólares liderada por M12 y Moore Strategic Ventures, con la participación de Booz Allen Ventures, IBM Ventures, Capital One Ventures y Ten Eleven Ventures (que lideró su ronda semilla), que es la mayor ronda de financiación Serie A en seguridad de IA hasta la fecha.
HiddenLayer ha ayudado a proteger los modelos de IA/ML utilizados por varias empresas de la lista Fortune 100 en áreas como las finanzas y la ciberseguridad.
También ha formado asociaciones estratégicas con Intel y Databricks, recibiendo galardones como el de la empresa emergente más innovadora de RSAC y la empresa emergente en fase inicial más prometedora de SC Media. La compañía casi ha cuadruplicado su fuerza laboral en el último año y planea aumentar su fuerza laboral de 50 a 90 para fines de este año, invirtiendo más en investigación y desarrollo.
Después de encontrarse con ataques contra la IA, los emprendedores en serie ven una oportunidad
Según Gartner, dos de cada cinco organizaciones en todos los ciberataques de IA en 2022 sufrieron violaciones de privacidad de IA o incidentes de seguridad, y una cuarta parte de esos ataques fueron maliciosos.
La agencia de ciberseguridad del Reino Unido, el Centro Nacional de Seguridad Cibernética, también advierte que "los atacantes están atacando chatbots de modelos de lenguaje grande como ChatGPT para obtener acceso a información confidencial, generar contenido ofensivo y" desencadenar consecuencias no deseadas. "
En un estudio de Forrester encargado por HiddenLayer, el 86 por ciento de las personas estaban "muy preocupadas o preocupadas" por la seguridad de los modelos de aprendizaje automático de su organización.
La mayoría de las empresas encuestadas dijeron que actualmente confían en procesos manuales para contrarrestar las amenazas de los modelos de IA, y el 80% de los encuestados espera invertir en una solución que gestione la integridad y la seguridad de los modelos de ML en los próximos 12 meses.
La ciberseguridad es particularmente técnica y especializada en comparación con otros campos, y se espera que el mercado global de ciberseguridad alcance los $ 403 mil millones para 2027, creciendo a una CAGR del 12.5% de 2020 a 2027, según una investigación anterior de la revista Fortune.
HiddenLayer fue cofundada por Christopher Sestito (CEO), Tanner Burns (Chief Scientist) y James Ballard (CIO). Estaban en su compañía anterior, Cylance, una startup de seguridad que fue adquirida por BlackBerry. La idea surgió tras un ciberataque a un modelo de IA.
Chris Sestito, CEO y cofundador de HiddenLayer, recordó: "Después de que los modelos de aprendizaje automático que protegimos fueran atacados directamente a través de nuestros productos, lideramos el esfuerzo de rescate y nos dimos cuenta de que esto sería un gran problema para cualquier organización que implementara modelos de aprendizaje automático en nuestros productos. Decidimos crear HiddenLayer para educar a las empresas sobre esta importante amenaza y ayudarlas a defenderse de los ataques. "
Sestito dirigió la investigación de amenazas en Cylance, Ballard fue el jefe del equipo de curación de datos de Cylance y Burns fue investigador de amenazas.
Chris Sestito comentó sobre la oportunidad de mercado: "Sabemos que casi todas las empresas están utilizando la IA de muchas formas, pero también sabemos que ninguna otra tecnología ha logrado una adopción tan generalizada sin seguridad. Estamos comprometidos a crear las soluciones de seguridad más sencillas del mercado para los clientes que satisfacen esta necesidad insatisfecha. "
Al comentar sobre la tecnología, Chris Sestito dijo: "Muchos científicos de datos confían en modelos de aprendizaje automático preentrenados, de código abierto o patentados para reducir el tiempo de análisis y simplificar las pruebas, y luego derivar información de conjuntos de datos complejos. El uso de modelos de código abierto previamente entrenados disponibles públicamente expone potencialmente a las organizaciones a transferir ataques de aprendizaje de modelos manipulados disponibles públicamente.
Nuestra plataforma proporciona herramientas para proteger los modelos de IA de ataques adversarios, vulnerabilidades e inyecciones de código malicioso. Supervisa las entradas y salidas de los sistemas de IA para probar la integridad de los modelos antes de su implementación. Utiliza técnicas para observar solo las entradas de los modelos y vectores (o representaciones matemáticas) de las salidas producidas por ellos, sin necesidad de acceder a sus modelos propietarios. "
Todd Graham, socio gerente de M12, dijo: "Inspirados por su propia experiencia con ataques de IA adversarios, los fundadores de HiddenLayer han construido una plataforma que es esencial para cualquier empresa que utilice tecnologías de IA y ML.
Su experiencia de primera mano con estos ataques, combinada con su visión y enfoque novedoso, convierte a la empresa en la solución de referencia para proteger estos modelos. Desde la primera reunión con los fundadores, sabíamos que esta era una gran idea en el espacio de la seguridad y queríamos ayudarlos a escalar. "
Cree una plataforma MLSec que proteja de manera integral la seguridad de la IA
El producto estrella de HiddenLayer, la Plataforma de Seguridad para Detectar y Prevenir Ciberataques en Sistemas Basados en Aprendizaje Automático (MLSec), es la primera solución MLDR (Detección y Respuesta de Aprendizaje Automático) de la industria que protege a las empresas y a sus clientes de los vectores de ataque emergentes.
La plataforma MLSec consta de HiddenLayer MLDR, ModelScanner y Security Audit Reporting.
La plataforma MLSec de HiddenLayer viene con un panel de control simple pero poderoso que permite a los administradores de seguridad ver de un vistazo si sus modelos empresariales de ML / AI están en un estado seguro. También prioriza automáticamente los problemas de seguridad y las alertas en función de su gravedad, y almacena datos para el cumplimiento, la auditoría y la generación de informes que una empresa puede estar obligada a realizar.
Su solución MLDR adopta un enfoque basado en el aprendizaje automático para analizar miles de millones de interacciones de modelos cada minuto para identificar actividades maliciosas sin tener acceso o conocimiento previo del modelo de ML de un usuario o datos de entrenamiento confidenciales. Es capaz de detectar y responder a ataques contra modelos de ML, protegiendo la propiedad intelectual y los secretos comerciales del robo o la manipulación, asegurando que los usuarios no sean atacados.
HiddenLayer también ofrece servicios de consultoría para equipos de expertos en aprendizaje automático (AML) que pueden realizar evaluaciones de amenazas, capacitar al personal de ciberseguridad y DevOps de los clientes, y realizar simulacros de "equipo rojo" para garantizar que las defensas de los clientes funcionen según lo previsto.
Tipos de ataques contra los que la plataforma MLSec de HiddenLayer puede proteger
Inferencia/extracción: los ataques de extracción implican que los atacantes manipulen las entradas del modelo, analicen las salidas e infieran los límites de decisión para reconstruir los datos de entrenamiento, extraer parámetros del modelo o realizar el robo del modelo entrenando un modelo alternativo que se aproxime al objetivo.
Robar modelos de aprendizaje automático: los atacantes roban los frutos de los costosos marcos de aprendizaje automático.
Extracción de datos de entrenamiento: un atacante puede realizar un ataque de inferencia de miembros simplemente observando su salida sin acceder a los parámetros del modelo de aprendizaje automático. Cuando el modelo de destino se entrena con información confidencial, la inferencia de miembros puede plantear problemas de seguridad y privacidad.
Envenenamiento de datos: el envenenamiento se produce cuando un atacante inserta datos nuevos y modificados específicamente en el conjunto de entrenamiento. Esto engaña o subvierte los modelos de aprendizaje automático para proporcionar resultados inexactos, sesgados o malintencionados.
Inyección de modelos: La inyección de modelos es una técnica que se basa en modificar un modelo de aprendizaje automático mediante la inserción de un módulo malicioso que introduce algún comportamiento secreto, dañino o no deseado.
Secuestro de modelos: este ataque puede inyectar código malintencionado en un modelo de PyTorch existente, que filtra todos los archivos del directorio actual a un servidor remoto.
HiddenLayer proporciona los siguientes servicios específicos
Modelado de amenazas: evalúe el entorno general de IA/ML y el riesgo de los activos a través de entrevistas de descubrimiento y discusiones basadas en escenarios.
Evaluación de riesgos de ML: Realice un análisis detallado del ciclo de vida de las operaciones de IA del cliente y profundice en los modelos de IA más críticos del cliente para determinar el riesgo para la organización de las inversiones actuales en IA/ML, así como los esfuerzos y/o controles necesarios para mejorar.
Capacitación de expertos: proporciona capacitación de un día completo para los equipos de ciencia de datos y seguridad para ayudarlos a obtener protección contra estos ataques y amenazas contra la IA.
Evaluación del equipo rojo: el equipo de investigación de aprendizaje automático adversario (AMLR) simulará el ataque de un atacante para evaluar las defensas existentes y parchear las vulnerabilidades.
Escaneo de modelos de IA/ML: Utilice el escáner de integridad de modelos de HiddenLayer para probar y validar los modelos de IA/ML existentes contra amenazas (por ejemplo, malware) y manipulación.
Servicios de implementación de detección y respuesta de ML (MLDR) :*Implemente e integre de manera experta los productos MLDR de HiddenLayer en entornos de IA/ML, brindando a los equipos de ciencia de datos y seguridad las capacidades y la visibilidad que necesitan para prevenir ataques, mejorar los tiempos de respuesta y maximizar la efectividad del modelo.
Cooperación con gigantes para fortalecer la construcción ecológica
Además de la creación de productos y plataformas, HiddenLayer también cuenta con socios sólidos, Databricks tiene una asociación para poner la plataforma MLSec a disposición de los usuarios empresariales que implementan modelos de IA en lagos de datos de Databricks. Esto crea seguridad en la IA desde el nivel del lago de datos.
A través de la cooperación estratégica con Intel, la computación confidencial en Intel SGX y el escáner de modelos de aprendizaje automático de HiddenLayer se combinan para proporcionar una solución de seguridad de IA integrada de hardware y software.
Estas dos cooperaciones estratégicas han hecho que todo el ecosistema de HiddenLayer sea más completo, y también se ha ganado el favor de los clientes, que ha obtenido varios grandes clientes en los campos de las finanzas y el gobierno.
La IA ha entrado en la etapa práctica y han surgido oportunidades empresariales seguras para la IA
La seguridad de la IA, especialmente a nivel de modelo, ya es una necesidad definitiva, y Protect AI, que se especializa en la seguridad de modelos de IA, ha recibido previamente una ronda de financiación de serie A de 35 millones de dólares liderada por Evolution Equity Partners y Salesforce Ventures.
Según Sestito, fundador de HiddenLayer, a medida que crezca el mercado de la IA, el mercado de la seguridad de la IA crecerá simultáneamente y, además de Protect AI y HiddenLayer, empresas como Robust Intelligence, CalypsoAI, Halcyon y Troj.ai también están trabajando en el campo de la seguridad de la IA.
Por ejemplo, Ten Eleven Ventures, uno de los primeros inversores en HiddenLayer, también invirtió en una ronda inicial de 20 millones de dólares de Halcyon, una empresa que se centra en herramientas de defensa contra ransomware de IA que ayudan a los usuarios de software de IA a prevenir ataques y recuperarse rápidamente de ellos.
A medida que esta ola de IA pasa de la etapa de exageración del concepto a la etapa de aplicación real, del emprendimiento de gran modelo al emprendimiento de aplicaciones de IA, la seguridad de la IA se está volviendo cada vez más importante. Ya sea para garantizar la seguridad de los modelos de IA o para proteger la seguridad de las aplicaciones de IA, el desarrollo de la seguridad de la IA puede profundizar aún más la penetración de la IA en el lado de la TdC y en el lado de la empresa.
Ya hay un gran número de startups de seguridad de IA en el extranjero, y en el mercado chino también existe la misma demanda, y esperamos que los destacados empresarios locales se muevan hacia este importante campo empresarial.
Ver originales
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
Para proteger completamente la seguridad de la IA, HiddenLayer recibió 50 millones de dólares en financiación de serie A
Fuente original: Alpha Commune
La seguridad de los modelos de IA es muy importante tanto para las empresas de aplicaciones de IA como para los usuarios y clientes que utilizan aplicaciones de IA. Para las empresas de IA, además de proteger la seguridad de los modelos de IA, también vale la pena prestar atención a la capacidad de proteger los datos y algoritmos originales de las fugas sin aumentar los costos de trabajo innecesarios.
Una empresa llamada HiddenLayer ha creado una plataforma de seguridad integral que proporciona seguridad de IA plug-and-play sin añadir complejidad innecesaria a nivel de modelo de IA ni acceder a datos y algoritmos sin procesar.
Recientemente, la compañía recibió una ronda Serie A de 50 millones de dólares liderada por M12 y Moore Strategic Ventures, con la participación de Booz Allen Ventures, IBM Ventures, Capital One Ventures y Ten Eleven Ventures (que lideró su ronda semilla), que es la mayor ronda de financiación Serie A en seguridad de IA hasta la fecha.
HiddenLayer ha ayudado a proteger los modelos de IA/ML utilizados por varias empresas de la lista Fortune 100 en áreas como las finanzas y la ciberseguridad.
También ha formado asociaciones estratégicas con Intel y Databricks, recibiendo galardones como el de la empresa emergente más innovadora de RSAC y la empresa emergente en fase inicial más prometedora de SC Media. La compañía casi ha cuadruplicado su fuerza laboral en el último año y planea aumentar su fuerza laboral de 50 a 90 para fines de este año, invirtiendo más en investigación y desarrollo.
Después de encontrarse con ataques contra la IA, los emprendedores en serie ven una oportunidad
Según Gartner, dos de cada cinco organizaciones en todos los ciberataques de IA en 2022 sufrieron violaciones de privacidad de IA o incidentes de seguridad, y una cuarta parte de esos ataques fueron maliciosos.
La agencia de ciberseguridad del Reino Unido, el Centro Nacional de Seguridad Cibernética, también advierte que "los atacantes están atacando chatbots de modelos de lenguaje grande como ChatGPT para obtener acceso a información confidencial, generar contenido ofensivo y" desencadenar consecuencias no deseadas. "
En un estudio de Forrester encargado por HiddenLayer, el 86 por ciento de las personas estaban "muy preocupadas o preocupadas" por la seguridad de los modelos de aprendizaje automático de su organización.
La mayoría de las empresas encuestadas dijeron que actualmente confían en procesos manuales para contrarrestar las amenazas de los modelos de IA, y el 80% de los encuestados espera invertir en una solución que gestione la integridad y la seguridad de los modelos de ML en los próximos 12 meses.
La ciberseguridad es particularmente técnica y especializada en comparación con otros campos, y se espera que el mercado global de ciberseguridad alcance los $ 403 mil millones para 2027, creciendo a una CAGR del 12.5% de 2020 a 2027, según una investigación anterior de la revista Fortune.
Chris Sestito, CEO y cofundador de HiddenLayer, recordó: "Después de que los modelos de aprendizaje automático que protegimos fueran atacados directamente a través de nuestros productos, lideramos el esfuerzo de rescate y nos dimos cuenta de que esto sería un gran problema para cualquier organización que implementara modelos de aprendizaje automático en nuestros productos. Decidimos crear HiddenLayer para educar a las empresas sobre esta importante amenaza y ayudarlas a defenderse de los ataques. "
Sestito dirigió la investigación de amenazas en Cylance, Ballard fue el jefe del equipo de curación de datos de Cylance y Burns fue investigador de amenazas.
Chris Sestito comentó sobre la oportunidad de mercado: "Sabemos que casi todas las empresas están utilizando la IA de muchas formas, pero también sabemos que ninguna otra tecnología ha logrado una adopción tan generalizada sin seguridad. Estamos comprometidos a crear las soluciones de seguridad más sencillas del mercado para los clientes que satisfacen esta necesidad insatisfecha. "
Al comentar sobre la tecnología, Chris Sestito dijo: "Muchos científicos de datos confían en modelos de aprendizaje automático preentrenados, de código abierto o patentados para reducir el tiempo de análisis y simplificar las pruebas, y luego derivar información de conjuntos de datos complejos. El uso de modelos de código abierto previamente entrenados disponibles públicamente expone potencialmente a las organizaciones a transferir ataques de aprendizaje de modelos manipulados disponibles públicamente.
Nuestra plataforma proporciona herramientas para proteger los modelos de IA de ataques adversarios, vulnerabilidades e inyecciones de código malicioso. Supervisa las entradas y salidas de los sistemas de IA para probar la integridad de los modelos antes de su implementación. Utiliza técnicas para observar solo las entradas de los modelos y vectores (o representaciones matemáticas) de las salidas producidas por ellos, sin necesidad de acceder a sus modelos propietarios. "
Todd Graham, socio gerente de M12, dijo: "Inspirados por su propia experiencia con ataques de IA adversarios, los fundadores de HiddenLayer han construido una plataforma que es esencial para cualquier empresa que utilice tecnologías de IA y ML.
Su experiencia de primera mano con estos ataques, combinada con su visión y enfoque novedoso, convierte a la empresa en la solución de referencia para proteger estos modelos. Desde la primera reunión con los fundadores, sabíamos que esta era una gran idea en el espacio de la seguridad y queríamos ayudarlos a escalar. "
Cree una plataforma MLSec que proteja de manera integral la seguridad de la IA
El producto estrella de HiddenLayer, la Plataforma de Seguridad para Detectar y Prevenir Ciberataques en Sistemas Basados en Aprendizaje Automático (MLSec), es la primera solución MLDR (Detección y Respuesta de Aprendizaje Automático) de la industria que protege a las empresas y a sus clientes de los vectores de ataque emergentes.
La plataforma MLSec consta de HiddenLayer MLDR, ModelScanner y Security Audit Reporting.
Su solución MLDR adopta un enfoque basado en el aprendizaje automático para analizar miles de millones de interacciones de modelos cada minuto para identificar actividades maliciosas sin tener acceso o conocimiento previo del modelo de ML de un usuario o datos de entrenamiento confidenciales. Es capaz de detectar y responder a ataques contra modelos de ML, protegiendo la propiedad intelectual y los secretos comerciales del robo o la manipulación, asegurando que los usuarios no sean atacados.
HiddenLayer también ofrece servicios de consultoría para equipos de expertos en aprendizaje automático (AML) que pueden realizar evaluaciones de amenazas, capacitar al personal de ciberseguridad y DevOps de los clientes, y realizar simulacros de "equipo rojo" para garantizar que las defensas de los clientes funcionen según lo previsto.
Tipos de ataques contra los que la plataforma MLSec de HiddenLayer puede proteger
Inferencia/extracción: los ataques de extracción implican que los atacantes manipulen las entradas del modelo, analicen las salidas e infieran los límites de decisión para reconstruir los datos de entrenamiento, extraer parámetros del modelo o realizar el robo del modelo entrenando un modelo alternativo que se aproxime al objetivo.
Robar modelos de aprendizaje automático: los atacantes roban los frutos de los costosos marcos de aprendizaje automático.
Extracción de datos de entrenamiento: un atacante puede realizar un ataque de inferencia de miembros simplemente observando su salida sin acceder a los parámetros del modelo de aprendizaje automático. Cuando el modelo de destino se entrena con información confidencial, la inferencia de miembros puede plantear problemas de seguridad y privacidad.
Envenenamiento de datos: el envenenamiento se produce cuando un atacante inserta datos nuevos y modificados específicamente en el conjunto de entrenamiento. Esto engaña o subvierte los modelos de aprendizaje automático para proporcionar resultados inexactos, sesgados o malintencionados.
Inyección de modelos: La inyección de modelos es una técnica que se basa en modificar un modelo de aprendizaje automático mediante la inserción de un módulo malicioso que introduce algún comportamiento secreto, dañino o no deseado.
Secuestro de modelos: este ataque puede inyectar código malintencionado en un modelo de PyTorch existente, que filtra todos los archivos del directorio actual a un servidor remoto.
HiddenLayer proporciona los siguientes servicios específicos
Modelado de amenazas: evalúe el entorno general de IA/ML y el riesgo de los activos a través de entrevistas de descubrimiento y discusiones basadas en escenarios.
Evaluación de riesgos de ML: Realice un análisis detallado del ciclo de vida de las operaciones de IA del cliente y profundice en los modelos de IA más críticos del cliente para determinar el riesgo para la organización de las inversiones actuales en IA/ML, así como los esfuerzos y/o controles necesarios para mejorar.
Capacitación de expertos: proporciona capacitación de un día completo para los equipos de ciencia de datos y seguridad para ayudarlos a obtener protección contra estos ataques y amenazas contra la IA.
Evaluación del equipo rojo: el equipo de investigación de aprendizaje automático adversario (AMLR) simulará el ataque de un atacante para evaluar las defensas existentes y parchear las vulnerabilidades.
Escaneo de modelos de IA/ML: Utilice el escáner de integridad de modelos de HiddenLayer para probar y validar los modelos de IA/ML existentes contra amenazas (por ejemplo, malware) y manipulación.
Servicios de implementación de detección y respuesta de ML (MLDR) :*Implemente e integre de manera experta los productos MLDR de HiddenLayer en entornos de IA/ML, brindando a los equipos de ciencia de datos y seguridad las capacidades y la visibilidad que necesitan para prevenir ataques, mejorar los tiempos de respuesta y maximizar la efectividad del modelo.
Cooperación con gigantes para fortalecer la construcción ecológica
Además de la creación de productos y plataformas, HiddenLayer también cuenta con socios sólidos, Databricks tiene una asociación para poner la plataforma MLSec a disposición de los usuarios empresariales que implementan modelos de IA en lagos de datos de Databricks. Esto crea seguridad en la IA desde el nivel del lago de datos.
Estas dos cooperaciones estratégicas han hecho que todo el ecosistema de HiddenLayer sea más completo, y también se ha ganado el favor de los clientes, que ha obtenido varios grandes clientes en los campos de las finanzas y el gobierno.
La IA ha entrado en la etapa práctica y han surgido oportunidades empresariales seguras para la IA
La seguridad de la IA, especialmente a nivel de modelo, ya es una necesidad definitiva, y Protect AI, que se especializa en la seguridad de modelos de IA, ha recibido previamente una ronda de financiación de serie A de 35 millones de dólares liderada por Evolution Equity Partners y Salesforce Ventures.
Según Sestito, fundador de HiddenLayer, a medida que crezca el mercado de la IA, el mercado de la seguridad de la IA crecerá simultáneamente y, además de Protect AI y HiddenLayer, empresas como Robust Intelligence, CalypsoAI, Halcyon y Troj.ai también están trabajando en el campo de la seguridad de la IA.
Por ejemplo, Ten Eleven Ventures, uno de los primeros inversores en HiddenLayer, también invirtió en una ronda inicial de 20 millones de dólares de Halcyon, una empresa que se centra en herramientas de defensa contra ransomware de IA que ayudan a los usuarios de software de IA a prevenir ataques y recuperarse rápidamente de ellos.
A medida que esta ola de IA pasa de la etapa de exageración del concepto a la etapa de aplicación real, del emprendimiento de gran modelo al emprendimiento de aplicaciones de IA, la seguridad de la IA se está volviendo cada vez más importante. Ya sea para garantizar la seguridad de los modelos de IA o para proteger la seguridad de las aplicaciones de IA, el desarrollo de la seguridad de la IA puede profundizar aún más la penetración de la IA en el lado de la TdC y en el lado de la empresa.
Ya hay un gran número de startups de seguridad de IA en el extranjero, y en el mercado chino también existe la misma demanda, y esperamos que los destacados empresarios locales se muevan hacia este importante campo empresarial.