Uma pesquisa conjunta da Meta, Google DeepMind, Cornell University e NVIDIA identificou os limites rígidos do que os grandes modelos de linguagem podem realmente memorizar, medindo até o bit e desafiando as suposições sobre como esses sistemas retêm informações.
O estudo, publicado esta semana no arXiv, derruba as suposições persistentes sobre a tendência da IA de memorizar vastas quantidades de dados de treinamento. Em vez disso, revela que mesmo os modelos de transformadores mais avançados exibem um limite superior estrito em sua memória, ou seja, em torno de 3,6 bits por parâmetro, independentemente de quantos dados eles sejam expostos.
Esse limite não é apenas um detalhe técnico. Ele toca em questões de direitos autorais, privacidade e futuro do uso seguro de IA.
Automatize a indexação de páginas no Google, monitore status e erros, e melhore seu SEO.
Solução perfeita para criar assinaturas de e-mail profissionais e personalizadas.
Gere vídeos de marketing a partir de qualquer prompt de texto, script ou postagem de blog usando IA.
Identifique visitantes anônimos do site, qualifique-os e converta-os em leads.
Crie fotos, arte e imagens com a mais recente tecnologia de IA.
O serviço de validação de e-mail mais preciso que limpa endereços de e-mail inválidos.
Crie sua própria ferramenta de IA sem código! Ganhe dinheiro com assinaturas.
Crie conteúdo de alta qualidade com relevância para SEO com esta poderosa ferramenta de IA.
Ao contrário de estudos anteriores que procuravam frases de treinamento memorizadas por meio de truques de indução, este faz algo diferente. Os pesquisadores treinaram os transformadores no estilo GPT não na linguagem, mas em sequências de bits puramente aleatórias – deliberadamente projetadas para não ter padrões. Sem gramática. Sem significado. Apenas ruído.
A razão? O ruído não pode ser generalizado. Então, se um modelo se lembrar de qualquer parte, deve ser pura memorização. Sem aprendizado. Sem inferência. Apenas armazenamento bruto.
Quando medido dessa forma, a memória para de crescer após um ponto fixo – independentemente de quanto ruído adicional for adicionado. Os resultados mostram que os modelos memorizam até “encher” e depois atingem um patamar. Esse limite, em centenas de testes, ficou consistentemente em torno de 3,6 bits por parâmetro.
Mesmo quando testados em diferentes profundidades de modelo, larguras e precisões de treinamento [como bfloat16 (16 bits de ponto flutuante do cérebro) vs. float32 (32 bits de ponto flutuante)], o resultado se manteve estável. Uma precisão mais alta permitiu um leve aumento – para 3,83 bits – mas nunca se aproximou de dobrar a capacidade, indicando retornos decrescentes do simples aumento da faixa numérica.
Em aplicações do mundo real, os LLMs não são alimentados por aleatoriedade – eles são treinados com base em livros, páginas da web e diálogos humanos. Isso abre a porta para a generalização: o processo pelo qual os modelos extraem padrões reutilizáveis em vez de armazenar cada instância.
Este estudo não apenas quantificou a memorização, mas também mapeou como os modelos mudam da memorização de exemplos para a abstração de padrões, dependendo do tamanho do conjunto de dados. Com conjuntos de dados menores, os modelos dependem muito da memória. Mas à medida que o conjunto de dados cresce, um ponto chega onde a memorização se torna ineficiente. É quando o modelo começa a generalizar.
Essa mudança se alinha com uma curva de aprendizado de máquina bem conhecida, mas ainda misteriosa, chamada de duplo declínio. O artigo oferece uma explicação convincente. Inicialmente, adicionar mais dados piora o desempenho (à medida que a memorização atinge seus limites), mas além de um limite, o modelo se adapta abstraindo a estrutura – e de repente, o desempenho melhora novamente.
Um detalhe que os pesquisadores enfatizam é que alguns tipos de dados são mais propensos à memorização. Sequências altamente únicas, estilizadas ou raras são mais fáceis para o modelo se apegar. Mesmo que a maioria dos pontos de treinamento seja generalizada, casos extremos ainda apresentam riscos de privacidade e direitos autorais. Em experimentos usando texto real (especificamente do corpus FineWeb deduplicado), os modelos demonstraram uma mistura de comportamentos: memorização parcial de exemplos raros e aprendizado de padrões generalizados em exemplos comuns.
Essas descobertas ficam no centro de uma tempestade legal. Empresas de IA estão enfrentando processos de artistas, editoras e empresas de tecnologia alegando que seus dados foram copiados sem consentimento.
Este artigo, sem fazer reivindicações legais, apresenta um quadro quantificável para mensurar o que um modelo realmente “lembra”. Sugere que, ao serem treinados em imensos corpos, os modelos diluem inherentemente a memorização por toda a extensão dos dados. Conjuntos de dados maiores significam menos retenção por amostra – uma propriedade que realmente reduz o risco de regurgitar material protegido.
Em números: Um modelo com 1,5 bilhão de parâmetros contém cerca de 675 megabytes de memória bruta. Isso é mínimo em relação aos petabytes de conteúdo nos quais é treinado. Para qualquer livro, imagem ou linha de código, a chance de reprodução exata – fora de casos extremamente únicos – é pequena.
Os pesquisadores não pararam na observação. Eles propuseram uma lei de escala que relaciona o tamanho do modelo, o volume do conjunto de dados e a probabilidade de inferência de associação bem-sucedida. Ela prevê o quão facilmente um atacante poderia determinar se um ponto de dados estava no conjunto de treinamento. O veredicto? Para grandes modelos treinados em corpora suficientemente grandes, esses ataques se aproximam de um palpite aleatório – uma grande garantia para defensores da privacidade.
Interessante mencionar que essa lei se comporta como um sigmóide: a inferência é trivial em conjuntos de dados pequenos, mas se transforma em ruído estatístico à medida que os dados crescem.
Este estudo não resolve todos os debates, mas redefine a linha entre especulação e verdade mensurável. Para os desenvolvedores, fornece uma ferramenta diagnóstica para estimar quanto de informação sensível um modelo pode reter. Para formuladores de políticas, lança as bases para novos padrões de responsabilidade da IA.
E para o público? Clareia o fato de que os LLMs de hoje não são gravadores sem mente. Eles são, cada vez mais, gigantes estatísticos que generalizam mais do que se lembram – a menos que os forcemos a não fazer isso.