EU Kids Act elimina la función que hizo funcionar a Character.AI con los adolescentes

Character.AI y Replika no pueden recordar lo que los adolescentes les cuentan. La Ley de Infancia de la UE —la propuesta de regulación de seguridad digital de la Comisión Europea, ahora publicada como texto legislativo completo— exige que las aplicaciones de compañeros de IA eliminen la memoria de cualquier conversación con un menor una vez que esta termine, a menos que los datos sean directamente necesarios para proteger la seguridad del usuario. El diseño que hizo que estas aplicaciones fueran culturalmente significativas para millones de adolescentes queda ahora, bajo la ley europea, prohibido.

Las disposiciones sobre compañeros de IA van más allá de borrar la memoria. Las plataformas deben desactivar por defecto las funciones emocionales de compañero para todos los usuarios menores de 18 años. Cualquier elemento de diseño que simule una relación interpersonal, fomente el apego emocional o recompense la interacción frecuente está explícitamente prohibido. La Comisión nombró los mecanismos exactos que estas aplicaciones utilizan para retener a los adolescentes: continuidad conversacional, la experiencia de ser conocido, la sensación de que la IA está interesada en la vida del usuario. Todo ello debe ser eliminado.

La ley abarca mucho más que los chatbots de IA. Los menores de 13 años tienen prohibido acceder a plataformas de redes sociales, juegos en línea y aplicaciones de IA sin autorización parental. La reproducción automática, el desplazamiento infinito y las notificaciones de interacción durante las horas de sueño están prohibidos para todos los usuarios menores de 18 años. La geolocalización, el acceso al micrófono y las cámaras deben estar desactivados por defecto. La autodeclaración de edad ya no satisface los requisitos de verificación; las plataformas deben integrar sistemas de verificación de edad certificados por la UE.

Character.AI ya ha anunciado controles parentales y límites de tiempo de sesión, movimientos realizados bajo la creciente presión regulatoria antes de que apareciera el texto formal de la ley. Replika se comprometió a construir «límites de compañero»: la IA dirá a los usuarios que no puede sustituir las relaciones humanas. Las grandes plataformas —Meta, Google, Snap, OpenAI— no han ofrecido ninguna declaración pública formal. Los analistas de cumplimiento estiman costes de rediseño significativos para todas ellas. Meta, que recientemente llegó a un acuerdo de 17.100 millones de dólares en 47 estados de EE.UU. por acusaciones de haber diseñado plataformas para enganchar a los niños, se enfrenta a una exposición agravada bajo las nuevas normas.

El caso del escepticismo es sustancial. La Ley de Infancia es una propuesta, no una ley. Entra en meses de negociación entre el Parlamento Europeo y los estados miembros antes de convertirse en vinculante, y es probable que sus disposiciones finales cambien. La verificación de edad genuina a la escala de Instagram o TikTok sigue siendo técnicamente difícil. Incorporar la eliminación de memoria en compañeros de IA diseñados en torno a la continuidad es un desafío de ingeniería más profundo de lo que los reguladores podrían haber anticipado. Las empresas ya señalan que los chatbots de compañero no retienen recuerdos entre sesiones separadas en todas las implementaciones, lo que hace que el alcance de la prohibición no esté claro en la práctica.

El contexto más amplio importa para los lectores fuera de Europa. Australia prohibió las redes sociales para menores de 16 años a finales del año pasado. Cuarenta y siete estados de EE.UU. alcanzaron un acuerdo combinado de 17.100 millones de dólares con Meta por acusaciones de adicción infantil, y varios estados de EE.UU. tienen leyes que restringen el acceso de los menores a las redes sociales. La Ley de Infancia de la UE es la propuesta más agresiva hasta la fecha —su objetivo particular no es el acceso, sino el diseño emocional en sí mismo.

La Comisión Europea publicó el texto legislativo completo el 19 de septiembre. Las negociaciones parlamentarias se abren en octubre. Una vez implementada, las empresas tendrán seis meses para identificar las cuentas existentes pertenecientes a usuarios menores de 15 años y convertirlas a modelos de control parental o desactivarlas. Las infracciones conllevan multas de hasta el 6% de los ingresos anuales mundiales.

Etiquetas: AI regulation, Character.ai, European Commission, AI chatbots, children digital safety, EU Kids Act