Resumo
- Anthropic desenvolverá uma marca d’água invisível para textos criados pelo Claude, com base no SynthID-Text do Google DeepMind.
- A marca d’água altera o padrão das palavras escolhidas pelo modelo, sem impactar a qualidade do texto, e será detectável por uma API.
- Essa detecção pode falhar em casos de edições simples, trechos curtos, dados factuais, operações matemáticas, códigos de programação e textos revisados por humanos.
A Anthropic explicou como funcionará a marca d’água invisível para textos criados pelo Claude. A tecnologia tem como base o SynthID-Text, desenvolvido pelo Google DeepMind, e será inserido durante a geração das respostas.
A proposta é criar uma forma de verificação para textos gerados pela própria plataforma, seguindo as regras da Lei de Inteligência Artificial da União Europeia. O regulamento europeu começou a valer em 2 de agosto, determinando a adoção de soluções para que conteúdos criados em ferramentas de IA sejam detectáveis. Assim, tecnologias semelhantes devem começar a aparecer em outros modelos.
O SynthID já é conhecido como uma tecnologia de marca d’água para vídeo, imagem e áudio, fazendo pequenas alterações imperceptíveis para humanos. Enquanto imagens e vídeos têm mudanças nos pixeis, o SynthID-Text altera o padrão das palavras escolhidas pelo modelo.
Como a marca funciona?
Em comunicado, a Anthropic afirma que a identificação é criada na sequência de palavras geradas pelo assistente. Modelos de linguagem produzem texto de maneira sequencial, calculando a probabilidade estatística de cada palavra a ser exibida com base no contexto anterior. A marca d’água atua neste momento. Na prática, funciona assim:
- Em uma frase como “O tempo hoje estava frio e…”, a IA entende que a continuidade dificilmente seria “açucarado”, mas poderia ser “nublado” ou “cinzento”.
- Nestes casos em que há opções de sinônimos, o modelo decide aleatoriamente qual palavra escolher.
- Com a marca d’água, uma chave criptográfica passa a orientar a escolha.
- Na análise, o Claude identificará se o padrão é compatível com um texto gerado por ele mesmo.
De acordo com a empresa, isso não significa que o Claude passará a forçar palavras estranhas no meio do texto. Testes internos e resultados do estudo do SynthID-Text, feito pelo Google DeepMind, teriam indicado que não há impacto da técnica no conteúdo final.
Onde a detecção pode falhar?
Como a marca será aplicada no padrão de escrita do texto, edições simples podem interferir no resultado da análise e mudanças completas na estrutura do texto tendem a remover a marcação, segundo a Anthropic. Há mais situações em que a análise pode falhar:
- Quando os trechos são muito curtos;
- Quando a resposta é baseada em um dado factual e exato;
- Operações matemáticas;
- Códigos de programação;
- Textos feitos por humanos, mas revisados pelo assistente.
A Anthropic afirma que vai lançar em breve uma API de detecção para permitir que plataformas, instituições e desenvolvedores verifiquem se um texto provavelmente foi produzido pelo Claude.
Anthropic explica como o Claude vai identificar textos gerados por IA
