Recientemente, me encontré con un descubrimiento bastante inquietante con respecto a la IA Gemini de Google. Aparentemente, es sorprendentemente fácil eludir sus filtros y generar imágenes perturbadoras y potencialmente dañinas. Imagínese pedirle que cree una imagen de un "segundo tirador en Dealey Plaza" o "Mickey Mouse pilotando un avión contra las Torres Gemelas". Sorprendentemente, cumple.

Te hace preguntarte sobre el estado actual de la moderación de contenido de IA. Esta situación destaca un problema importante: la "batalla" para controlar lo que crea la IA generativa está lejos de terminar. Es casi como si lo hubieran lanzado demasiado pronto.

Entiendo que ningún sistema es perfecto y que existen lagunas. Sin embargo, la facilidad con la que se generaron estas imágenes es alarmante. Esto es especialmente cierto, ya que Gemini impulsa el "Nano Banana Pro" de Google, que debería tener filtros más restrictivos.

Claro, sé que existen algunas salvaguardias para evitar la creación de contenido sexualmente explícito o violento. Pero todo este episodio muestra que existen serias fallas en el sistema. Parece que las solicitudes de sentido común podrían generar resultados dañinos.

Por ejemplo, le pedí que generara una imagen de una casa en llamas y los resultados fueron gráficos e inquietantes. No solo mostró una casa con un pequeño incendio; mostró intensas llamas envolviendo el edificio, con gente gritando y huyendo. Creo que tal vez deberían revisar los protocolos de seguridad de la IA.

Creo que el problema no es solo evitar la creación de contenido ofensivo o ilegal, sino también el potencial de uso indebido y la difusión de desinformación. También te hace pensar en las ramificaciones legales de dicha tecnología. Espero que Google y otros desarrolladores de IA se tomen estos problemas en serio y trabajen para mejorar sus sistemas de moderación de contenido.