El Frontier Model Forum, formado por OpenAI, Anthropic, Microsoft y Google, ha anunciado el lanzamiento de 10 millones de dólares en el llamado Safety Fund, la primera partida de fondos para la seguridad de la IA y a su primer director ejecutivo: Chris Meserole.

Desde su creación en julio de este año, esta suerte de Vengadores del mundo de la inteligencia artificial que lucha por salvaguardar las buenas prácticas, promueve la investigación sobre posibles barreras de seguridad de la IA para mitigar daños como la desinformación y los riesgos para la seguridad.

(Relacionado: ¿Sirve de algo el nuevo comprobador de imágenes IA de Google?)

En vísperas de una cumbre mundial sobre la seguridad de la inteligencia artificial que se celebrará en el Reino Unido la semana que viene, la nueva iniciativa del fondo de seguridad coincide con el compromiso de facilitar la auditoría por terceros de las vulnerabilidades de los modelos de IA, según un comunicado del Foro.

El objetivo principal es apoyar el desarrollo de pruebas de adversarios en los modelos, un tipo de pirateo ético de sistemas conocido como «red teaming«.

¿Quién está detrás del Safety Fund?

El fondo cuenta con el apoyo de socios filantrópicos como la Fundación Patrick J. McGovern, la Fundación David y Lucile Packard, el ex Consejero Delegado de Google Eric Schmidt y el programador informático e inversor Jaan Tallinn. El nuevo director ejecutivo, Meserole, se incorpora tras seis años de trabajo como director y becario en el centro de investigación en ciencias sociales y educación Brookings Institution.

Meserole habló del nuevo Fondo de Seguridad de la IA, que él supervisará: «Los modelos de inteligencia artificial más potentes son muy prometedores para la sociedad, pero para aprovechar su potencial necesitamos comprender mejor cómo desarrollarlos y evaluarlos de forma segura«.

(Relacionado: ¿Sabes lo que significa el símbolo CR en una imagen generada con IA?)

Qué es el Frontier Model Forum y por qué es importante en la industria de la IA

El Frontier Model Forum es una nueva organización de la industria centrada en garantizar el desarrollo seguro y responsable de los llamados modelos de inteligencia artificial de frontera. La organización fue fundada en julio de 2023 por cuatro empresas líderes en IA: Google, OpenAI, Microsoft y Anthropic.

¿Qué es un modelo de IA de frontera?

Los modelos de IA de frontera son aquellos que son capaces de realizar tareas complejas que antes sólo eran posibles para los humanos. Estos modelos se están utilizando en una amplia gama de aplicaciones, como la generación de imágenes, la traducción automática y la conducción autónoma.

El Frontier Model Forum tiene como objetivo abordar los riesgos potenciales de los modelos de IA de frontera, como el sesgo, la pérdida de privacidad y el potencial de ser utilizados para fines maliciosos.

La organización está trabajando en una serie de iniciativas, como el desarrollo de mejores prácticas para la creación y el uso de modelos de IA de frontera, y la promoción de la transparencia y la responsabilidad en el desarrollo de esta tecnología.

(Relacionado: Microsoft 1- Google 0: El trono por ser el rey de la IA se disputa en 2023)

Objetivos del Frontier Model Forum

Los objetivos del Frontier Model Forum son los siguientes:

  • Avanzar en la investigación de seguridad de la IA para promover el desarrollo responsable de modelos de frontera.
  • Apoyar los esfuerzos para desarrollar aplicaciones que puedan ayudar a enfrentar los mayores desafíos de la sociedad.

Miembros del Frontier Model Forum

Los miembros fundadores del Frontier Model Forum son empresas son líderes en el desarrollo de IA generativa y protagonistas constantes de los contenidos de Diario IA:

El Frontier Model Forum está abierto a la incorporación de nuevas empresas y organizaciones de la industria.

El grupo tiene el potencial de tener un impacto significativo en el desarrollo y uso de la IA generativa. La organización puede ayudar a garantizar que esta tecnología se desarrolle y utilice de forma responsable y ética. El Frontier Model Forum es un paso importante en la dirección correcta para garantizar que la IA generativa se utilice para el bien de la sociedad.

OpenAI crea un grupo de supervisión de riesgos catastróficos de la inteligencia artificial

Hoy, además, OpenAI ha anunciado la creación de un nuevo equipo para valorar, evaluar y sondear modelos de IA para protegerse de lo que describe como «riesgos catastróficos».

El equipo, denominado Preparedness, estará dirigido por Aleksander Madry, director del Center for Deployable Machine Learning del MIT. (Madry se incorporó a OpenAI en mayo como «jefe de Preparedness», según LinkedIn). Las principales responsabilidades de Preparedness serán el seguimiento, la previsión y la protección frente a los peligros de los futuros sistemas de IA, desde su capacidad para persuadir y engañar a los humanos (como en los ataques de phishing) hasta su capacidad para generar código malicioso.

Algunas de las categorías de riesgo que Preparedness se encarga de estudiar parecen más… descabelladas que otras. Por ejemplo, en una entrada de blog, OpenAI enumera las amenazas «químicas, biológicas, radiológicas y nucleares» como áreas de máxima preocupación en lo que respecta a los modelos de IA. Como pasa con las cosas importantes de la vida, mejor prevenir que curar. Con la inteligencia, nada de malo habrá en ser demasiado precavidos. Ojalá que todo lo malo que nos pase sea eso y que, como algunos auguran, la IA no sea el fin de la raza humana.