Para evitar una catástrofe de IA, los reguladores deben garantizar una IA confiable, dicen los expertos a los legisladores

To Avoid An AI Catastrophe, Regulators Must Ensure Trustworthy AI, Experts Tell Lawmakers

La mayor oportunidad y el mayor peligro de AI son los mismos para el mundo civil que para el ejército: el potencial para revelar u ocultar la verdad. Ese poder podría ser la diferencia entre elecciones justas e injustas, o la vida o la muerte en la batalla.

El martes, innovadores clave en IA comparecieron ante los legisladores para discutir cómo las nuevas herramientas están brindando valor a los inversionistas y creadores, incluso cuando se usan para sembrar confusión y engañar a las personas.

Por un lado, las nuevas herramientas de inteligencia artificial están demostrando ser útiles no solo para Escribiendo ensayos sino por una especie de presciencia. Un grupo de investigadores de Harvard y MIT demostró recientemente que generativo Los modelos de IA pueden predecircon más precisión que las encuestas, cómo votará la gente en función de los medios que consumen. Clearspeed, cuyos productos son utilizados por el ejército de los EE. UU., las compañías de seguros y otros clientes, ofrece una herramienta de IA que utiliza el análisis de sentimientos para determinar si un entrevistado responde con sinceridad a las preguntas de sí o no. Steve Wisotzki, ex SEAL de la Marina que administra las relaciones gubernamentales de la empresa, dijo defensa uno la tecnología fue pionera para ayudar a las fuerzas estadounidenses y afganas a detectar amenazas internas. Una gran cantidad de datos nuevos han ayudado a la compañía a refinar el modelo, dijo Wisotzki, hasta el punto en que puede identificar el «riesgo» de que un sujeto de la entrevista mienta con más del 97 por ciento de precisión, en base a menos de diez preguntas.

Pero el uso de la IA para oscurecer la verdad también está creciendo. En su testimonio ante los legisladores, Gary Marcus, neurocientífico, autor y empresario, describió las amenazas potenciales que plantean las herramientas simples que ya están disponibles. “Pueden y crearán mentiras persuasivas a una escala nunca antes vista por la humanidad. Los de afuera los usarán para afectar nuestras elecciones, los de adentro para manipular nuestros mercados y nuestros sistemas políticos. La democracia misma está amenazada. Los chatbots también darán forma clandestinamente a nuestras opiniones, lo que podría exceder lo que pueden hacer las redes sociales. Las elecciones sobre los conjuntos de datos que utilizan las empresas de IA tendrán una enorme influencia invisible; aquellos que eligen los datos harán las reglas que darán forma a la sociedad de maneras sutiles pero poderosas”.

Sam Altman, quien fundó OpenAI, creador de la nueva y popular herramienta ChatGPT, dijo a los legisladores que “Mis peores temores son que nosotros… la industria de la tecnología cause un daño significativo al mundo… Es por eso que iniciamos la empresa. Es una gran parte de por qué estoy aquí hoy”.

Algunos oficiales militares clave comparten esas preocupaciones sobre la confiabilidad de las herramientas de IA incluso cuando el ejército busca usar la IA en una amplia variedad de áreas.

Lisa Sanders, directora de ciencia y tecnología del Comando de Operaciones Especiales de EE. defensa uno, “No podemos ignorar [tools like ChatGPT] porque… el genio está fuera de la botella.”

Las operaciones efectivas en las zonas grises del futuro significarán «descubrir la verdad sobre el terreno más rápido de lo que el entorno podría querer, más rápido de lo que yo podría ser capaz de hacerlo, ese tipo de súper capacidad para… llegar a una alta certeza de la verdad sobre el terreno más rápido que el laico”, dijo Sanders defensa uno en una entrevista exclusiva durante el evento Global SOF en Tampa, Florida. .

SOCOM es trabajando para fusionar datos de sensores, datos de código abierto e inteligencia artificial para ayudar a los operadores en entornos de zona gris. Con gafas o auriculares especiales, las tropas de SOF comprenderán mejor el sentimiento de la población local, comprenderán idiomas sin traductores conectados a Internet y, esencialmente, predecirán varios eventos. Pero tales herramientas pueden pasar de ser un activo a un pasivo si no son confiables. Sanders dijo que una preocupación clave es «cómo valido mis conclusiones que he hecho o incluso la fuente de datos sin procesar».

Ese trabajo de validar la verdad no solo recaerá en alguien en casa que haya escrito el software y estructurado los datos antes de la implementación. Una parte recaerá sobre el operador o su equipo en el momento del conflicto o conflicto potencial. Entonces, ¿cómo les da suficiente fe en el producto para que puedan usarlo en momentos tensos sin darle al operador demasiada confianza en una herramienta que solo parece perfecta?

Sanders dijo que los operadores especiales deberán serlo para “comprender y modificar esos algoritmos… especialmente porque sabemos que mucho de esto proviene de un entorno no militar y de seguridad nacional. Va a tener sesgos inherentes. Entonces, poder ver a dónde nos llevan esos sesgos por un camino que debemos ajustar o identificar los sesgos que estamos sacando, creo que es importante y ¿cómo se hace eso sin tener científicos contigo todo el tiempo? ¿Cómo podemos nosotros, como usuarios finales, ganar confianza en esa herramienta para utilizarla adecuadamente para ayudarnos a cumplir nuestra misión?

Pero depender de esas empresas con «antecedentes no militares y de seguridad nacional» para producir productos que sean seguros y bien examinados no es una buena idea, a menos que el Congreso pueda obligarlos a describir directamente cómo funcionan realmente sus modelos y qué datos contienen. . El Congreso también debe asegurarse de que las agencias gubernamentales externas y los investigadores independientes puedan evaluarlos, testificaron los expertos el martes.

Altman de OpenAI propuso que Estados Unidos impulse la creación de una organización de monitoreo internacional, tal vez similar al OIEA, para observar el desarrollo de herramientas de IA. Sugirió que el gobierno de EE. UU. estableciera normas y organismos de concesión de licencias. Las empresas que abusan de las herramientas de IA o crean riesgos para el público podrían ver revocadas las licencias para usar o desarrollar productos.

No a todos en la comunidad tecnológica les encanta esa idea. El domingo, Eric Schmidt, ex CEO de Google que ahora dirige un fondo de riesgo secreto centrado en la defensa, sugirió que la IA a la escala de una empresa como Google y Microsoft es demasiado compleja para ser regulada de manera efectiva por nadie, excepto por la propia industria.

Pero otra ex Googler, Meredith Whittaker, retrasado en Twitter: “La industria de la tecnología que no se controla a sí misma mientras los reguladores están habilitados es la forma en que llegamos a donde estamos. Digo esto como alguien que trabajó para Google durante más de 13 años. No se deje engañar por hombres poderosos que hacen declaraciones egoístas en tonos razonables”.

Marcus, el neurocientífico, hizo una súplica similar: para evitar lo peor del abuso de la IA, el gobierno de los EE. UU. debe regular urgentemente las fuentes de datos, la explicabilidad de los algoritmos y proporcionar una supervisión gubernamental y civil general.

“El plan preferido de las grandes empresas tecnológicas se reduce a: confía en nosotros. Pero ¿por qué deberíamos? Las sumas de dinero en juego son alucinantes”, dijo. “Las misiones se desvían. La declaración de la misión original de OpenAI proclamaba: «nuestro objetivo es hacer avanzar la IA de la manera que sea más probable que beneficie a la humanidad en su conjunto, sin las limitaciones de la necesidad de generar retorno financiero». Siete años después, están en gran parte en deuda con Microsoft, envueltos en parte de una batalla épica de motores de búsqueda que rutinariamente inventan cosas. Y eso obligó a Alphabet a apresurarse a lanzar productos y restar importancia a la seguridad. La humanidad ha pasado a un segundo plano”.

El cargo Para evitar una catástrofe de IA, los reguladores deben garantizar una IA confiable, dicen los expertos a los legisladores apareció por primera vez en defensa uno.

Loading...