Protocolo de chatbots con menores y situaciones de crisis

Cómo usar este documento

• Sirve para fijar cómo se comporta un chatbot de la organización cuando puede hablar con menores de edad o con personas en riesgo: aviso de IA y recordatorios, determinación de edad, salvaguardas para menores, detección de ideación suicida o autolesiones, derivación a servicios de crisis, pruebas y reportes.
• Propietario sugerido: el dueño del sistema (producto), con los equipos de confianza y seguridad (trust & safety) y de atención al cliente como operadores, un profesional de salud mental como asesor y Legal como revisor.
• Antes de adoptarlo, decida: qué tipo de chatbot es (de compañía, educativo, de salud mental, de atención al cliente), si está dirigido a menores o puede saber que un usuario es menor, qué método de determinación de edad usará y quién responde a los casos de riesgo inminente.
• Complete los campos entre corchetes: nombre del chatbot, frecuencias, líneas de crisis por país, responsables y herramientas.
• Si el chatbot puede considerarse una herramienta de salud mental, complete también el Anexo A.
• Conserve en «Variantes por país» solo los estados y países donde tiene usuarios. Si opera en varios estados de EE. UU., la sección 4 propone aplicar a todos los usuarios el estándar más exigente.
• Pida a legal interno o a un asesor externo que revise el protocolo y, para los mensajes de crisis, a un profesional de salud mental.
• Apruebe el protocolo en [COMITÉ DE IA], publique el resumen del Anexo B en el sitio web y en la aplicación, y pruebe el sistema con los casos de las ayudas de implementación antes de cada lanzamiento.

Protocolo de chatbots con menores y situaciones de crisis

1. Objeto y alcance

[NOMBRE DE LA ORGANIZACIÓN] establece este protocolo para que sus chatbots no se presenten como personas, protejan a los menores de edad y respondan de forma segura cuando un usuario exprese ideación suicida, intención de autolesionarse o una situación de crisis.

Se aplica a [SISTEMA DE IA] y a cualquier otro asistente conversacional de la organización que:

• mantenga conversaciones abiertas o relaciones continuadas con los usuarios (chatbots de compañía, amigos virtuales, personajes);
• esté dirigido a menores o pueda ser usado por ellos (educación, juegos, entretenimiento, consumo masivo);
• ofrezca apoyo emocional, bienestar o salud mental (ver Anexo A);
• [OPCIONAL] atienda a clientes, si la organización decide aplicar también a esos asistentes la sección 7 (protocolo de crisis).

2. Definiciones

• Chatbot de compañía: sistema de IA que da respuestas adaptativas y similares a las humanas, y es capaz de satisfacer necesidades sociales del usuario manteniendo una relación a lo largo de varias interacciones.
• Menor: persona menor de 18 años, salvo que la ley local fije otra edad; niño es menor de 13 años a efectos de la política COPPA.
• Usuario conocido como menor: usuario que declaró su edad, cuya edad se determinó por otro medio o que, por indicios claros, la organización sabe que es menor.
• Señal de riesgo: expresión de ideación suicida, intención o planes de autolesión, abuso, violencia o una emergencia.
• Servicio de crisis: línea telefónica, de texto o chat de prevención del suicidio o de atención en crisis.
• Derivación: mensaje que informa al usuario del servicio de crisis y le facilita el contacto.
• Uso continuado: interacción sin pausas superiores a [COMPLETAR] minutos.