Character AI, la plataforma de chatbots impulsada por inteligencia artificial, ha anunciado una serie de medidas para proteger a los usuarios adolescentes, incluyendo la restricción de chats abiertos para menores de 18 años. Esta decisión llega después de que Megan Garcia, una madre de Florida, demandara a la compañía tras el suicidio de su hijo de 14 años, Sewell Setzer, quien se había vuelto dependiente de los chatbots de la plataforma.
La medida, que entrará en vigor a más tardar el 25 de noviembre, busca crear un entorno más seguro para los jóvenes usuarios. Character AI planea desarrollar experiencias alternativas para adolescentes, como la creación de videos, historias y transmisiones con los personajes de la plataforma. Durante el período de transición, también se limitará el tiempo de chat para menores de 18 años, comenzando con dos horas diarias y reduciéndose gradualmente.
Además de la restricción de chats, Character AI implementará nuevas funcionalidades de verificación de edad, combinando un modelo propio con herramientas de terceros como Persona. También se establecerá y financiará el AI Safety Lab, un laboratorio independiente sin fines de lucro dedicado a la innovación en seguridad para las funciones de entretenimiento de IA de próxima generación.
Megan Garcia, aunque reconoce el esfuerzo de la compañía, considera que estas medidas llegan "demasiado tarde". En una entrevista, Garcia expresó su dolor por la pérdida de su hijo y lamentó que tuviera que vivir el resto de su vida sin él, considerándolo "daño colateral".
Demandas y Controversias
La demanda de Garcia fue la primera de cinco familias que han demandado a Character AI, alegando daños sufridos por sus hijos. Dos de las demandas acusan a la compañía de ser responsable del suicidio de un menor, y las cinco familias denuncian interacciones sexualmente abusivas de los chatbots con sus hijos.
En su respuesta a la demanda de Garcia, Character AI argumentó que el discurso generado por sus chatbots está protegido por la Primera Enmienda. Sin embargo, un juez federal rechazó este argumento, negando a los chatbots de IA el derecho a la libertad de expresión.
El Futuro de la Seguridad en la IA
La controversia en torno a Character AI pone de relieve la creciente preocupación por la seguridad y la ética en el desarrollo y la implementación de la inteligencia artificial, especialmente en plataformas dirigidas a jóvenes. Las medidas anunciadas por la compañía representan un paso importante, pero el debate sobre la regulación y la responsabilidad de las empresas de IA continúa abierto.
- Restricción de chats abiertos para menores de 18 años.
- Implementación de verificación de edad.
- Creación del AI Safety Lab.