¿Es Gemini fake? A Google se le ha atragantado el lanzamiento de Gemini, su nuevo LLM con aspiraciones de plantarle cara a ChatGPT. No sólo nos presentaron un modelo (el Pro) con prestaciones reducidas (junto al aplazamiento para 2024 del Gemini que, en teoría, superará a GPT-4 -versión Ultra-), sino que la empresa también ha admitido que el famoso vídeo del pato azul «What the Duck» consistía en una demo que era, por decirlo de forma suave, real a medias. La cosa se ha puesto más fea.

A la incredulidad inicial por una espectacular demostración en vídeo de Gemini en acción le ha seguido la confesión por parte de Google de que no todo lo mostrado en el vídeo era real: sendos artículos en la BBC y TechCrunch han puesto de manifiesto algo que muchos sospechaban: Google les ha confirmado que ese vídeo era demasiado bueno para ser cierto.

Relacionado: Google lanza una versión reducida de Gemini que supera a ChatGPT 3.5

¿Es Gemini fake?: lo Que ha pasado con el lanzamiento del nuevo modelo y las supuestas mentiras de Google

La respuesta a si Google ha mentido a propósito acerca del rendimiento es complicada. Por un lado, parece claro que la empresa hizo repetidas anotaciones de que lo que se muestra en el vídeo es algo así como un «mejores momentos de Gemini recopilados». Por otro lado, parece evidente que Google podría haber sido más transparente. A continuación te damos todos los detalles sobre el que muchos ya llaman el vídeo fake de Google Gemini.

Fragmento del polémico vídeo Gemini fake demostración de Google Gemini cuya veracidad ha sido puesta en duda.
Fragmento del polémico vídeo fake de Gemini cuya veracidad ha sido puesta en duda.

En el vídeo, titulado Hands-on with Gemini: Interacting with multimodal AI (Manos a la obra con Gemini: interacción con IA multimodal), Google compartía con el mundo por primera vez las impresionantes capacidades de interacción por voz y respuesta visual en tiempo real del modelo de IA. Y todo, con un aviso: «el siguiente vídeo muestra una selección de los momentos destacados de nuestras interacciones con Google Gemini«.

El clip nos muestra una interacción guionizada y preparada al milímetro en la que vemos y escuchamos a un desarrollador interactuando con Gemini en directo, con lo que, a falta de más explicaciones, se sobreentiende que es un ejercicio interactivo entre Gemini y los objetos que el desarrollador va mostrando a cámara. Incluido el simpático y adorable pato azul.

Google Gemini mentiras
Nota introductoria del vídeo demostración de Google Gemini.

Tras la puesta de gala del nuevo LLM, sin embargo, hemos descubierto que la interacción por voz no existía y que la demostración no era en tiempo real. Lo que muestra el vídeo es, por así decirlo, una recreación manipulada de resultados obtenidos por Google utilizando imágenes fijas con indicaciones de texto específicas. No obstante, en la descripción del vídeo Google se limitaba a especificar que «a efectos de esta demostración, se ha reducido la latencia y se han acortado las salidas de Gemini para ser más breves».

La web de la BBC ha publicado hoy un artículo explosivo titulado Google reconoce que el vídeo viral sobre IA se editó para que pareciera mejor en el que leemos que un portavoz de Google ha admitido que en la demostración real se utilizaron imágenes fijas del vídeo e indicaciones de texto. Es decir, Gemini no respondió en tiempo real, tal y como nos hace creer el videomontaje. Curiosamente, el mismo día de la presentación, Gemini también subió un making-of del vídeo en el blog de desarrolladores de Google. Misma idea leemos en el no menor incendiario La mejor demo de Google Gemini era un fake publicado por TechCrunch.

Críticas internas en Google por la demo falsa de Gemini

Varios empleados de Google habrían expresado preocupación críticas internas acerca del vídeo demostración de Gemini, según fuentes citadas por Bloomberg y The Information. Un empleado de Google ha llegado a declarar que el vídeo ofrecía una imagen poco realista de lo fácil que es conseguir resultados impresionantes con Gemini.

La demostración escenificada también parece haberse convertido en objeto de memes y bromas dentro de la empresa, donde los empleados han compartido imágenes y comentarios burlándose de las discrepancias entre el vídeo y el sistema de IA real.

A pesar de la controversia que rodea al vídeo de demostración, Google insiste en que todas las entradas y salidas de los usuarios que se muestran en el vídeo son reales, aunque el vídeo sugiera una implementación en tiempo real que aún no existe.

La web especializada The Decoder ha añadido más leña al fuego al afirmar que no sólo el vídeo fue manipulado, sugiriendo que la afirmación de que Gemini es (o será) superior a ChatGPT-4 es cuestionable:

«Google también publicó resultados de referencia de forma engañosa. Comparó una puntuación máxima en la conocida prueba de referencia de comprensión lingüística MMLU utilizando un método más complejo (CoT@32) con el método de referencia estándar probado por OpenAI utilizando GPT-4 (5 disparos). Utilizando el método de 5 disparos con Gemini Ultra en MMLU, el modelo más grande de Google obtiene un rendimiento un 2,7% inferior al de GPT-4.»

Aunque Gemini consigue la mejor puntuación global en MMLU con CoT@32, la forma en que presenta este resultado es «cuestionable», se lee en el medio. Y sigue: «Demuestra, al igual que el falso vídeo en tiempo real, que Google ha intentado a toda costa presentar a Gemini como superior a GPT-4, en lugar de como igual, lo que probablemente se acerque más a la verdad».

Google y la presión por no quedarse atrás en inteligencia artificial

No es ningún secreto ni novedad que la presión en Google por no quedarse atrás en la carrera de la IA es máxima. Tras pillarle completamente por sorpresa el lanzamiento de ChatGPT en noviembre de 2022, la empresa del buscador lleva un año a caballo entre las prisas por lanzar una IA que iguale a GPT en calidad, pero que garantice los estándares de seguridad y fiabilidad a los que Google nos tiene acostumbrados.

Relacionado: ChatGPT cumple un año: descubre sus estadísticas más importantes

Con las revelaciones de hoy, cada vez parece más probable que lo que hemos visto con Gemini esta semana ha consistido en un lanzamiento que, más que presentarnos un producto fresco, revolucionario y mejor que ChatGPT, sólo buscaba hacer ruido mediático; una suerte de calentamiento de motores a modo de prólogo mediático de lo que está por venir en 2024 en Google y la inteligencia artificial con la llegada de Gemini Ultra, el modelo con el que de verdad deberíamos ver resultados asombrosos.

A día de hoy, la voz cantante en la industria de la inteligencia artificial generativa la sigue llevando OpenAI, mientras que los Google, Meta y Amazon (colosos de la tecnología acostumbrados a ser líderes hegemónicos en sus respectivos campos) continúan a la zaga. Jadeando.