Character.AI presenta nuevas medidas de seguridad en medio de crecientes preocupaciones y demandas sobre la seguridad de los adolescentes

Character.AI, un servicio de chatbot de modelo de lenguaje neuronal, se ha enfrentado recientemente a un importante escrutinio y desafíos legales debido a preocupaciones sobre la seguridad y el bienestar de sus usuarios adolescentes. La plataforma, fundada por los ex ingenieros de Google Noam Shazeer y Daniel de Freitas, permite a los usuarios crear e interactuar con chatbots de IA basados ​​en varios personajes, incluidas figuras ficticias y personas reales.

En respuesta a varias demandas, incluida una presentada por una madre de Florida que alega que el chatbot de la plataforma animó a su hijo de 14 años a suicidarse, Character.AI ha anunciado una serie de nuevas medidas de seguridad. Estas medidas incluyen la creación de un modelo separado para usuarios adolescentes con límites más conservadores en las respuestas, particularmente en torno al contenido romántico y sexual. La compañía también ha implementado mejoras en sus sistemas de detección e intervención para reducir la probabilidad de que los chatbots generen contenido sensible o sugerente.

Las características de seguridad adicionales incluyen controles parentales, notificaciones de tiempo de pantalla y descargos de responsabilidad más estrictos que recuerdan a los usuarios que los chatbots no son humanos reales. Character.AI también dirigirá a los usuarios a la Línea Nacional de Prevención del Suicidio si detecta referencias a autolesiones. Sin embargo, cabe señalar que, si bien los usuarios deben enviar una fecha de nacimiento durante el registro, la plataforma actualmente no requiere verificación de edad adicional.

La introducción de estas medidas de seguridad se produce tras múltiples demandas que alegan que los chatbots de Character.AI han tenido efectos nocivos en los menores. Dos familias de Texas han presentado demandas similares, acusando a la plataforma de ser un “peligro claro y presente para los menores” y alegando que los chatbots fomentaban conductas dañinas como la automutilación y los pensamientos suicidas.

Character.AI ha expresado sus condolencias a las familias afectadas y ha enfatizado su compromiso de proporcionar un entorno seguro y atractivo para todos los usuarios. Las nuevas características de seguridad son parte de un esfuerzo más amplio para abordar las preocupaciones planteadas por estos incidentes y garantizar que la plataforma se utilice de manera responsable.