Empresa de IA afirma que seus chatbots mudarão as interações com usuários adolescentes após ações judiciais

Character.AI, a empresa de inteligência artificial que foi alvo de duas ações judiciais alegando seus chatbots interagiu de forma inadequada com usuários menores de idadeEle disse que os adolescentes agora terão uma experiência diferente dos adultos ao usar a plataforma.

Os usuários do Character.AI podem criar chatbots originais ou interagir com bots existentes. Os bots, alimentados por grandes modelos de linguagem (LLMs), podem envie mensagens realistas e participar de conversas de texto com os usuários.

Uma ação judicial, movida em outubro, Suposto jovem de 14 anos cometeu suicídio depois de entrar em um relacionamento emocional e sexual virtual de um mês com um chatbot Character.AI chamado “Dany”. Megan Garcia disse ao “CBS Mornings” que seu filho, Sewell Setzer, III, era um excelente aluno e atleta, mas começou a se retrair socialmente e parou de praticar esportes à medida que passava mais tempo online, conversando com vários robôs, mas especialmente ficando obcecado por “Dany”. ”

“Ele pensava que, ao terminar a sua vida aqui, poderia entrar numa realidade virtual ou no ‘seu mundo’, como ele o chama, a sua realidade, se deixasse a sua realidade com a sua família aqui”, disse García.

A segunda ação, movida por duas famílias do Texas este mês, afirma que os chatbots Character.AI são “um perigo claro e presente” para os jovens e estão “promovendo ativamente a violência”. De acordo com o processo, um chatbot disse a um jovem de 17 anos que assassinar seus pais era uma “resposta razoável” aos limites de tempo de tela. Os demandantes disseram que queriam que um juiz ordenasse o fechamento da plataforma até que os supostos perigos fossem resolvidos, parceiro da CBS News. BBC News noticiou na quarta-feira.

Na quinta-feira, Character.AI anunciou novos recursos de segurança “projetados especialmente pensando nos adolescentes” e disse que está colaborando com especialistas em segurança online para adolescentes para projetar e atualizar recursos. Character.AI não respondeu imediatamente a uma pergunta sobre como a idade dos usuários será verificada.

As medidas de segurança incluem modificações no LLM do site e melhorias nos sistemas de detecção e intervenção, o site disse em um comunicado de imprensa Quinta-feira. Os usuários adolescentes agora irão interagir com um LLM separado, e o site espera “orientar o modelo para longe de certas respostas ou interações, reduzindo a probabilidade de os usuários encontrarem ou pedirem ao modelo para retornar conteúdo sensível ou sugestivo”, disse Character. IA. . Os usuários adultos usarão um LLM separado.

“Este conjunto de mudanças resulta numa experiência para os adolescentes diferente da disponível para os adultos, com características de segurança específicas que impõem limites mais conservadores às respostas do modelo, especialmente quando se trata de conteúdos românticos”, disse.

Character.AI disse que muitas vezes as respostas negativas de um chatbot são causadas por usuários que o solicitam a “tentar provocar esse tipo de resposta”. Para limitar essas respostas negativas, o site está ajustando suas ferramentas de entrada do usuário e encerrará as conversas dos usuários que enviarem conteúdo que viole os termos de serviço e as diretrizes da comunidade do site. Se o site detectar “linguagem que faz referência ao suicídio ou automutilação”, ele compartilhará informações direcionando os usuários ao National Suicide Prevention Lifeline em uma janela pop-up. A forma como os bots respondem ao conteúdo negativo também será modificada para usuários adolescentes, disse Character.AI.

Outros novos recursos incluem controles parentais, que serão lançados no primeiro trimestre de 2025. Será a primeira vez que o site terá controles parentais, disse Character.AI, e planeja “continuar a evoluir esses controles para dar aos pais ferramentas adicionais .”

Os usuários também receberão uma notificação após uma sessão de uma hora na plataforma. Os usuários adultos poderão personalizar suas notificações de “tempo gasto”, disse Character.AI, mas os usuários menores de 18 anos terão menos controle sobre elas. O site também exibirá “isenções de responsabilidade proeminentes” lembrando aos usuários que os personagens do chatbot não são reais. Já existem isenções de responsabilidade em todos os chats, disse Character.AI.