El gobernador Gavin Newsom publicó el miércoles un amplio conjunto de recomendaciones de política pública para mitigar los riesgos de la inteligencia artificial, incluyendo permitir que funcionarios estatales ordenen un apagado de emergencia inmediato de sistemas de IA que consideren peligrosos.

Otras recomendaciones requeriría que auditores independientes prueben modelos de IA y establezcan estándares de seguridad.

El poder de apagado, popularmente conocido como un "interruptor de emergencia", se aplicaría cuando empresas como OpenAI, creadora de ChatGPT, y Anthropic, creadora de Claude, se negaran a tomar medidas para contener sistemas que se salgan de control.

Las recomendaciones fueron elaboradas por un panel de expertos reunido por Newsom a principios de este otoño, después de ataques cibernéticos de alto perfil por agentes de IA contra gobiernos, bancos y empresas privadas.

El gobernador las promocionó como un modelo para la legislación estatal durante una visita reciente a Washington, según un reporte de Politico. Newsom, ampliamente esperado para una carrera presidencial, dijo que el estado está llenando un vacío dejado por la falta de reglas de IA a nivel federal. "En lugar de proteger al público, Donald Trump se encoge de hombros y deja la regulación de IA a las propias empresas", dijo en un comunicado de prensa anunciando las recomendaciones.

California es el hogar de algunas de las empresas de IA más grandes del mundo, y la Legislatura de California ha aprobado más proyectos de ley para regular la IA que cualquier otro estado del país. Newsom firmó docenas de proyectos de ley aprobados por la Legislatura de California en septiembre para hacer cosas como proteger a los niños, trabajadores, y personas que viven cerca de centros de datos de los impactos de la IA y relacionados. También aceleró la implementación de leyes para crear un registro de auditores de IA y establecer estándares para auditores.

Los legisladores pueden proponer nuevos proyectos de ley cuando regresen a Sacramento el 7 de diciembre.

Las recomendaciones llegan la misma semana que una demanda del Fiscal General Rob Bonta contra OpenAI para responsabilizar legalmente a la empresa por ataques de ciberseguridad realizados por agentes creados por la empresa.

Interruptor de emergencia de IA. Asistentes se reúnen en la conferencia OpenAI DevDay 2026 en San Francisco el 29 de septiembre de 2026. Crédito: Foto de Jeff Chiu, AP Photo
Interruptor de emergencia de IA. Asistentes se reúnen en la conferencia OpenAI DevDay 2026 en San Francisco el 29 de septiembre de 2026. Foto de Jeff Chiu, AP Photo

El grupo también recomienda que el estado de California:

  • Otorgue licencias a auditores — conocidos como organizaciones independientes de verificación — y tenga el poder de revocar las licencias de aquellos que no mantengan la independencia suficiente o la experiencia técnica. Los auditores están "bajo presión suave para mantener buenas relaciones con los [laboratorios de IA] para que quieran seguir trabajando con nosotros", dijo Rif Saurous, personal de la organización sin ánimo de lucro de auditoría METR, durante una audiencia del Senado de California el mes pasado.

  • Considere tener funcionarios estatales asignar evaluaciones a auditores en lugar de que las empresas de IA contraten auditores para mantener la independencia.

  • Financie CalCompute, una iniciativa de nube pública destinada a proporcionar acceso equitativo a la IA, con un recargo en las tarifas que las empresas de IA pagan a los auditores. El gobernador electo Xavier Becerra apoyó el financiamiento de CalCompute durante su campaña.

  • Expanda las protecciones existentes para denunciantes de IA para incluir contratistas y antiguos empleados.

  • Expanda la notificación de incidentes de seguridad de IA a agencias gubernamentales y reduzca la ventana para reportar incidentes de seguridad críticos a 48 horas desde 15 días.

  • Permita que el gobierno limite el uso de IA para diseñar IA, ya que algunos expertos creen que esta práctica hace que los sistemas sean más peligrosos.

  • Requiera que los desarrolladores divulguen la cantidad de recursos informáticos que utilizan para automatizar el desarrollo de IA.

  • Requiera que los desarrolladores de sistemas grandes de IA demuestren la capacidad de apagar modelos en emergencias.

  • Establezca estándares estatales para seguridad, protección y transparencia mientras hace referencia a estándares nacionales e internacionales.

El panel de cuatro expertos incluye a Alondra Nelson, quien dirigió la Oficina de Política de Ciencia y Tecnología de la Casa Blanca durante la administración Biden; Rob Reich, profesor de la Universidad de Stanford que estudia la gobernanza de la ciencia y la tecnología; Jason Goldman, antiguo ejecutivo de Google y Twitter, quien fue el primer Jefe Digital de la Casa Blanca; y Gillian Hadfield, profesora de Johns Hopkins que estudia diversos temas relacionados con la IA.

Becerra dijo en un comunicado escrito que se moverá rápidamente con la Legislatura para poner "reporte completo de incidentes y autoridad de apagado real en la ley".

Anthropic, que crea el sistema de IA Claude, está alentada de ver que el reporte avanza la conversación sobre temas como la evaluación independiente de modelos de IA, según el oficial de asuntos globales de la empresa, Tino Cuéllar.

"Continuaremos trabajando con líderes en California y en todo el mundo para asegurarnos de que sigamos haciendo progreso en estos temas en un momento crítico", escribió.

Las recomendaciones del panel del gobernador y de auditores en las últimas semanas proporcionan alimento a una clase entrante de legisladores en la Legislatura de California y el Congreso.

El Senador Estatal Scott Wiener, quien escribió una ley estatal para mitigar peligros catastróficos de IA y fue recientemente elegido para ocupar el asiento de Nancy Pelosi en el Congreso, ha prometido introducir regulación de seguridad de IA después de ser juramentado.

La ley estatal actualmente define el riesgo catastrófico como un evento único capaz de matar a más de 50 personas o causar robo de más de 1.000 millones de dólares o daño a la propiedad a través de un ciberataque o actividad de un sistema autónomo. El reporte de hoy se enfoca solo en riesgo catastrófico y no explora formas de proteger a las personas de otros daños de IA, como discriminación automatizada, pérdida de empleos, o amenazas para la seguridad o salud mental de los niños. Los coautores de las recomendaciones argumentan que construir un sistema para auditores acreditados para probar modelos para riesgo catastrófico hará más fácil evaluar modelos para otras formas de daño.

Las recomendaciones lanzadas hoy son las últimas ordenadas por Newsom desde el comienzo de la era de la IA generativa. Una orden ejecutiva de finales de 2023 requirió que el estado compilara y evaluara las oportunidades y riesgos asociados con el uso gubernamental de IA generativa. Un reporte estatal posterior evaluó el impacto de la IA generativa en comunidades vulnerables y marginadas. Un reporte de panel de expertos de junio de 2025 también concluyó que para equilibrar innovación y seguridad, la industria de IA necesita evaluaciones de un tercero independiente y externo.