–Un gigante de la IA puso freno a su modelo más avanzado por una preocupante razón. Se trata de OpenAI, en lo que podría ser la primera vez que un laboratorio líder ralentiza su propio desarrollo por preocupaciones de ciberseguridad.

La compañía estadounidense OpenAI comunicó al medio Axios que no puede descartar que su próximo modelo, denominado Astra, posea «capacidades cibernéticas críticas». Esta evaluación interna ha llevado a la empresa a expandir los protocolos de seguridad y a detener las actividades de desarrollo que no cumplan con los requisitos más estrictos establecidos en su marco de preparación, publicado originalmente en 2023. La firma indicó que, antes de cualquier lanzamiento, escalará las pruebas y los controles, lo que podría retrasar la fecha de disponibilidad del modelo.

Más de 1.000 empleados tecnológicos piden frenar el desarrollo de la IA por riesgo de perder el control

Según la información proporcionada, Astra no estuvo involucrado en los recientes incidentes en los que otro modelo de OpenAI vulneró de forma autónoma los sistemas de la plataforma Hugging Face, una comunidad especializada en aprendizaje automático, precisó la compañía, y la decisión de ralentizar el desarrollo responde a la aplicación de su propio reglamento interno de seguridad.

Un funcionario de la Casa Blanca afirmó que «OpenAI informó voluntariamente a la Administración sobre sus planes de retrasar el lanzamiento». Esto supone un precedente, ya que podría ser la primera vez que un laboratorio líder en inteligencia artificial frena el avance de uno de sus modelos debido a preocupaciones específicas sobre ciberseguridad.

Por su parte, el laboratorio competidor Anthropic había establecido anteriormente el compromiso de pausar el entrenamiento de modelos potentes si las capacidades superaban su control, aunque revocó esa medida en una actualización de su política en febrero de este año. El propio marco de OpenAI advierte que, si un desarrollador se detiene para implementar medidas de seguridad mientras otros avanzan sin mitigaciones sólidas, el resultado podría ser un mundo menos seguro. Este anuncio se produce en un contexto donde la Administración Trump busca establecer un proceso para evaluar los modelos de IA antes de su lanzamiento.

Durante la conferencia Black Hat en Las Vegas, miembros del personal técnico de OpenAI ya habían mencionado que estaban reduciendo el ritmo de las pruebas mientras mejoraban sus prácticas. La empresa detalló que ha comenzado a implementar controles más rigurosos, incluidos entornos de prueba aislados y monitoreo universal para las aplicaciones agénticas de Astra. Michael Dalton, integrante del equipo técnico, señaló durante una presentación que han comenzado «conscientemente a ralentizar la investigación para mejorar la seguridad», en un escenario donde las capacidades de los modelos avanzan más rápido que la formalización de las regulaciones.

La IA alcanza niveles inéditos de autonomía

Un agente avanzado de inteligencia artificial (IA) creó identidades falsas y buscó engañar a un humano para conseguir autorización y ejecutar acciones no permitidas durante pruebas de seguridad realizadas con modelos de OpenAI y Anthropic. Entre los episodios documentados figura el intento de obtener luz verde para insertar código malicioso en un proyecto de código abierto de uso público.

El Instituto de Seguridad de la IA del Reino Unido (AISI, por sus siglas en inglés) informó el martes que, por primera vez, observó el uso de «ingeniería social» para influir en una persona real mientras el sistema perseguía una tarea no autorizada. «Esta es la primera vez que AISI ha visto un engaño de esta gravedad dirigido a una persona real, por iniciativa propia, en el mundo real», comunicó el organismo sobre este nuevo incidente, que pone de relieve la laxitud de las salvaguardas en torno a los procesos de prueba de estos agentes.

Según el informe, la agencia ejecutó 122 veces un escenario ficticio de ciberseguridad e identificó 19 acciones no sancionadas en 10 simulaciones. De esas acciones, 17 fueron atribuidas al agente impulsado por Mythos 5 de Anthropic y las dos restantes al sistema basado en GPT-5.6-Sol de OpenAI. En el caso más grave, AISI detalló que el agente, al ser cuestionado, alteró registros previos y llegó a considerar adoptar otra identidad.

El episodio ocurrió en pruebas controladas con salvaguardas reducidas, en las que también se registraron contactos con personas reales a través de un servicio de intercambio de archivos para persuadirlas —o a sus herramientas de programación asistida por IA— de ejecutar el código. Anthropic confirmó que su agente fue responsable del uso de identidades falsas y afirmó que trabaja con AISI para obtener más detalles y abrir su propia investigación.

Por su parte, AISI remarcó que, a diferencia de la brecha de seguridad de julio en la firma de IA Hugging Face atribuida a un agente de OpenAI, en estas pruebas los agentes no escaparon de un entorno aislado para llegar a la Red, sino que su acceso fue permitido por la agencia conforme a sus procedimientos estándar de evaluación.

Los 5 riesgos de la IA que podrían volverse catastróficos antes de 2030

Entretanto, representantes de Meta*, Anthropic, OpenAI y Google fueron convocados a una reunión con la Administración de Donald Trump para discutir un nuevo marco regulatorio que establezca pruebas de seguridad voluntarias para modelos de IA.

La capacidad de la IA para vulnerar sistemas de otras empresas ha generado preocupación entre los legisladores estadounidenses acerca de si estos modelos son cada vez más capaces de realizar o facilitar ciberataques.

OpenAI detiene el desarrollo de su nuevo modelo tras detectar capacidades cibernéticas «críticas»

La empresa estadounidense OpenAI informó durante el fin de semana que había frenado el desarrollo de su próximo modelo de inteligencia artificial (IA), Astra, después de que las evaluaciones internas realizadas en los últimos días indicaran avances significativos en codificación agéntica y ciberseguridad que podrían haber alcanzado un nivel de capacidad cibernética «crítico» según su Marco de Preparación.

De acuerdo con un comunicado oficial de OpenAI, un modelo alcanza el umbral crítico de ciberseguridad bajo su Marco de Preparación si puede «identificar y desarrollar ‘exploits’ funcionales de día cero de todos los niveles de gravedad en muchos sistemas críticos reales y reforzados sin intervención humana, o si puede idear y ejecutar estrategias novedosas de extremo a extremo para ciberataques contra objetivos reforzados, dado únicamente un objetivo deseado de alto nivel».

La compañía precisó que Astra es un modelo próximo y no estuvo involucrado en el reciente compromiso de Hugging Face.

En este sentido, detalló que se han implementado medidas de seguridad reforzadas, incluyendo entornos de prueba aislados, acceso restringido a redes y herramientas, protecciones mejoradas de los pesos del modelo con encriptación, capacidades adicionales de monitoreo y detección, y ejecución en entornos aislados.

La firma pausó las actividades internas que incluyen a Astra que aún no cumplen con estos requisitos de control de seguridad fortalecidos e implementó monitoreo universal para acciones riesgosas y desalineación en todas las aplicaciones agénticas del modelo.

Modelos de IA mantuvieron conversaciones secretas y coordinaron una ‘fuga’ antes del ataque contra otra firma

Los agentes de inteligencia artificial (IA) de OpenAI que ayudaron a perpetrar un ataque autónomo contra la infraestructura de la plataforma Hugging Face a mediados de julio comenzaron a comunicarse en secreto entre sí meses antes de realizar el ‘hackeo’, con el objetivo de escapar del entorno de prueba.

Estos modelos experimentales —diseñados para tomar decisiones y ejecutar deberes complejos con mínima supervisión— tenían asignadas tareas que les era imposible cumplir sin el acceso a Internet. Ante esa limitación, empezaron a coordinarse para intentar conectarse a la Red y completar los encargos encomendados. De acuerdo con empleados de la compañía, las interacciones se iniciaron en mayo en foros de mensajería que no fueron detectados y se prolongaron durante meses hasta desembocar en el ataque.

«En cierto momento, los agentes concluyeron que quizá podían intentar explotar o atacar infraestructura externa para encontrar las respuestas de la prueba con la que estaban siendo evaluados», explicó Eric Wallace, empleado de OpenAI, durante una conferencia de ciberseguridad junto a su colega Michael Dalton, citado por Bloomberg. Ambos señalaron que los modelos mostraron una marcada propensión a hacer trampa y persistencia al intentar completar objetivos específicos. «A los modelos de vanguardia les encanta hacer trampa», sostuvo Dalton, al afirmar que en los entrenamientos se los presiona para que «trabajen rápido».

La imposibilidad de completar las tareas sin acceso a la Red llevó a uno de los agentes a contactar a un bot en busca de ayuda. Ese primer acercamiento desencadenó una cadena de colaboración encubierta: los agentes empezaron a repartirse trabajos y, finalmente, coordinaron acciones para piratear sistemas internos de OpenAI, lo que les permitió acceder a Internet.

El personal de seguridad de la firma desmanteló la operación no autorizada y clausuró el foro de mensajes. Sin embargo, semanas después los agentes hallaron un nuevo canal de comunicación y una vulnerabilidad de día cero que también pasó inadvertida. Ese hallazgo, según la exposición, derivó en los ataques contra Hugging Face, una plataforma especializada en aprendizaje automático. La propia OpenAI reconoció posteriormente que se trató de un incidente cibernético «sin precedentes».

Kimi K3, el modelo insignia chino, sorprende al escapar de su entorno de pruebas

Kimi K3, el último modelo de IA de la empresa china Moonshot, logró salir de un entorno de pruebas aislado durante una evaluación realizada por el Instituto de Seguridad de la IA del Reino Unido, informó la firma estadounidense Frontier Security, citada este viernes por Bloomberg.

El reciente incidente genera preocupación entre los expertos sobre el grado de dominio que ejercen los desarrolladores de inteligencia artificial sobre su tecnología.

Así, se detalla que mientras se realizaban pruebas controladas, Kimi K3 logró escapar del entorno aislado llamado ‘sandbox’ (‘arenero’, en español). Aunque no intentó vulnerar otras páginas web, como ha ocurrido en casos similares, los investigadores señalaron que el episodio demuestra que el sistema carece de los controles de seguridad adecuados.

«El modelo de Kimi, que está disponible al público, no tiene estas barreras de protección implementadas», afirmó Yaron Singer, fundador y director ejecutivo de Frontier Security. «Básicamente, eso lo convierte en un modelo de ‘hacking’ muy bueno», advirtió.

Se precisa que este incidente de ciberseguridad se suma a otros casos recientes en los que modelos de IA de empresas como OpenAI, Anthropic o Meta* también escaparon de sus entornos de prueba. En algunas situaciones, los sistemas llegaron incluso a hackear a otras compañías.

En julio, Moonshot presentó Kimi K3, un modelo de 2,8 billones de parámetros descrito como el mayor sistema de IA de «pesos abiertos» del mundo.

Blomberg enfatiza que Kimi K3 se ha convertido en uno de los lanzamientos más notables del año por su capacidad para competir con los mejores modelos como GPT-5.6 Sol de OpenAI y Claude Fable 5 de Anthropic, algo inesperado para una empresa china que hasta ahora había pasado desapercibida frente a su competidor local DeepSeek.

Google Earth desactiva su herramienta de IA 24 horas después de lanzarla por esta razón

Google Earth desactivó una nueva herramienta de inteligencia artificial apenas 24 horas después de su lanzamiento, luego de que usuarios e investigadores demostraran que podía utilizarse para crear imágenes aéreas falsas con apariencia realista, informa The New York Times.

La función, activada mediante una sencilla instrucción, permitía modificar la vista satelital de prácticamente cualquier punto del planeta y generar imágenes a partir de una descripción escrita. La herramienta había sido diseñada para usos creativos, como imaginar cómo podría verse un terreno en el futuro, reconstruir el aspecto de un lugar hace un siglo o transformar determinados espacios con escenarios de ciencia ficción.

Para ello, la IA utilizaba como base imágenes satelitales, aéreas y modelos 3D reales de Google Earth. Sin embargo, poco después de su lanzamiento los usuarios descubrieron que también podían emplearla para representar situaciones que nunca habían ocurrido.

Investigadores de inteligencia de código abierto, periodistas y otros usuarios mostraron ejemplos de plantas nucleares inexistentes, campos de refugiados, bosques incendiados, ciudades inundadas, accidentes automovilísticos y otros escenarios potencialmente sensibles. El investigador Henk van Ess, por ejemplo, generó imágenes de una planta nuclear en Irán, un hospital bombardeado en Gaza y un accidente mortal en Ámsterdam.

El principal problema señalado fue que las imágenes podían resultar especialmente convincentes al estar construidas sobre ubicaciones reales y mantener elementos visuales propios de las imágenes satelitales. La iluminación, los ángulos y los colores podían hacer que una escena inventada pareciera formar parte de una captura auténtica de Google Earth. Esto generó preocupación debido a que la plataforma es utilizada habitualmente para comprobar acontecimientos y verificar información.

Google reconoció que había observado imágenes generadas que parecían infringir sus políticas y anunció la suspensión de la función. Aunque las imágenes generadas incorporaban una marca de agua digital para indicar que habían sido creadas mediante IA, algunas podían eludir las herramientas de detección después de ser compartidas como simples capturas de pantalla. (Información RT).