Jueza advierte sobre el empleo de IA en informes de uso de la fuerza

AP- En una breve nota al pie que forma parte de una extensa opinión judicial, una jueza federal señaló recientemente a los agentes de inmigración que utilizan inteligencia artificial para redactar informes sobre el uso de la fuerza, lo que genera preocupaciones de posibles inexactitudes y de una mayor desconfianza pública en la manera en que la policía ha manejado la estricta aplicación de las leyes migratorias en el área de Chicago y las protestas derivadas de la misma.

La jueza federal de distrito, Sara Ellis, escribió la nota al pie en una opinión de 223 páginas emitida la semana pasada, donde señala que la práctica de usar ChatGPT para redactar informes sobre el uso de la fuerza socava la credibilidad de los agentes y “puede explicar la inexactitud de estos informes”. Describió lo que vio en al menos un video de cámara corporal, escribiendo que un agente le pide a ChatGPT que compile una narrativa para un informe después de darle al programa una breve descripción y varias imágenes.

La jueza señaló discrepancias fácticas entre la narrativa oficial sobre esas respuestas de las fuerzas del orden y lo que mostraban las imágenes de la cámara corporal. Pero los expertos dicen que el uso de la IA para redactar un informe que depende de la perspectiva específica de un agente sin utilizar la experiencia real de éste es el peor uso posible de la tecnología y plantea serias preocupaciones sobre la precisión y la privacidad.

La perspectiva necesaria de un agente

Las agencias de aplicación de la ley de todo el país han lidiado con la manera de crear salvaguardias que permitan que los agentes usen la tecnología de IA, cada vez más disponible, mientras mantienen la precisión, la privacidad y el profesionalismo. Los expertos dijeron que el ejemplo relatado en la opinión no logró ese desafío.

“Lo que hizo este tipo es lo peor de todos los mundos. Darle una sola oración y algunas imágenes; si eso es cierto, si eso es lo que sucedió aquí, va en contra de todos los consejos que tenemos. Es un escenario de pesadilla”, dijo Ian Adams, profesor adjunto de criminología de la Universidad de Carolina del Sur que forma parte de un grupo de trabajo sobre inteligencia artificial del Consejo de Justicia Criminal, un grupo de expertos no partidista.

El Departamento de Seguridad Nacional no respondió a las solicitudes de comentarios, y no se sabe si la agencia tenía directrices o políticas sobre el uso de la IA por parte de los agentes. Las imágenes de la cámara corporal citadas en la orden aún no han sido publicadas.

Adams dijo que pocos departamentos han implementado políticas, pero aquellos que lo han hecho a menudo prohíben el uso de IA predictiva al redactar informes que justifican decisiones de aplicación de la ley, especialmente en relación con el uso de la fuerza. Los tribunales han establecido un estándar al que se refieren como razonabilidad objetiva al considerar si un uso de la fuerza fue justificado, confiando en gran medida en la perspectiva del agente.

“Necesitamos los hechos específicos articulados de ese evento y los pensamientos específicos de ese agente específico para saber si se trató de un uso justificado de la fuerza”, dijo Adams. “Ese es el peor escenario, aparte de decirle explícitamente que invente hechos, porque estás pidiéndole que invente hechos en esta situación de alto riesgo”.

Información privada y evidencia

Además de plantear preocupaciones sobre un informe generado por IA que caracterice incorrectamente lo que sucedió, el uso de esa herramienta también plantea posibles problemas de privacidad.

Katie Kinsey, jefa de despacho y asesora de políticas tecnológicas del Proyecto de Policía de la Facultad de Derecho de la Universidad de Nueva York, dijo que, si el agente en la orden utilizaba una versión pública de ChatGPT, probablemente no entendía que perdió el control de las imágenes en el momento en que las subió, permitiendo que fueran parte del dominio público y que pudieran ser utilizadas por actores malintencionados.

Kinsey dijo que, desde un punto de vista tecnológico, la mayoría de los departamentos trabajan sobre la marcha cuando se trata de la IA. Señaló que un patrón común en la aplicación de la ley consiste en esperar hasta que las nuevas tecnologías ya se estén utilizando, y en algunos casos, se cometan errores, para luego hablar sobre la implementación de directrices o políticas.

“Sería preferible hacer las cosas al revés, cuando se entienden los riesgos y se desarrollan salvaguardias en torno a los riesgos”, dijo Kinsey. “Aun si no estudian las mejores prácticas, hay algunos aspectos más accesibles que podrían ayudar. Podemos empezar con la transparencia”.

La experta dijo que, mientras los organismos federales de aplicación de la ley consideran cómo debería usarse o no la tecnología, podrían adoptar una política como las implementadas recientemente en Utah o California, donde los informes policiales o las comunicaciones escritas que utilizan IA deben estar etiquetados.

Uso cuidadoso de nuevas herramientas

Las fotografías que el agente utilizó para generar una narrativa también causaron preocupaciones de precisión a algunos expertos.

Empresas tecnológicas bien conocidas como Axon han comenzado a ofrecer componentes de IA con sus cámaras corporales para ayudar en la redacción de informes de incidentes. Esos programas de IA comercializados para la policía operan en un sistema cerrado y en gran medida se limitan a usar audio de las cámaras corporales para producir narrativas porque las empresas han dicho que los programas que intentan usar imágenes visuales no son lo suficientemente efectivos.

“Hay muchas maneras diferentes de describir un color, o una expresión facial o cualquier componente visual. Podrías preguntar a cualquier experto en IA y te dirían que las indicaciones devuelven resultados muy diferentes entre diferentes aplicaciones de IA, y eso se complica con un componente visual”, dijo Andrew Guthrie Ferguson, profesor de derecho en la Facultad de Derecho de la Universidad George Washington.

“También hay una cuestión de profesionalismo. ¿Estamos de acuerdo con que los policías usen análisis predictivos?”, añadió. “Se trata de lo que el modelo piensa que debería haber sucedido, pero podría no ser lo que realmente sucedió. No quieres que sea lo que termine en la corte, para justificar tus acciones”.

Derechos de autor 2025 AP. Reservados todos los derechos.