O NYT está trazendo à tona um novo estudo que aponta o alarmante número de erros que os usuários cometem com modelos de IA mais avançados do que as variantes mais antigas. De acordo com o relatório, as taxas de erro aumentaram significativamente nos sistemas avançados em comparação com seus modelos antigos. O fato surpreendente é que quase ninguém está falando sobre isso, considerando que as novas ferramentas de IA deveriam fazer o oposto. Em vez disso, as taxas de erro estão atingindo um novo máximo de 79% nos sistemas mais modernos da OpenAI.
Isso fez soar os alarmes para os profissionais de marketing que colocam grande ênfase em tais ferramentas tanto para a criação de conteúdo quanto para o serviço ao cliente. Estes recentes testes destacaram uma tendência sobre como sistemas de IA mais avançados produzem maiores imprecisões do que modelos anteriores.
Os novos sistemas, como o o3, continuam cometendo erros de quase 33% ao responder a perguntas sobre indivíduos. Este é o dobro da taxa de erros em comparação com os sistemas anteriores. Chocantemente, o modelo o4-mini se saiu pior e teve taxas de erro chegando a 48% em testes semelhantes. Em resumo, o o3 cometeu erros com uma taxa de 51%, enquanto o o4-mini teve taxas de erro de 79%.
Automatize a indexação de páginas no Google, monitore status e erros, e melhore seu SEO.
Solução perfeita para criar assinaturas de e-mail profissionais e personalizadas.
Gere vídeos de marketing a partir de qualquer prompt de texto, script ou postagem de blog usando IA.
Identifique visitantes anônimos do site, qualifique-os e converta-os em leads.
Crie fotos, arte e imagens com a mais recente tecnologia de IA.
O serviço de validação de e-mail mais preciso que limpa endereços de e-mail inválidos.
Crie sua própria ferramenta de IA sem código! Ganhe dinheiro com assinaturas.
Crie conteúdo de alta qualidade com relevância para SEO com esta poderosa ferramenta de IA.
Não é apenas a gigante de IA OpenAI quem é culpada. Da mesma forma, descobertas foram vistas em testes com modelos do Google e do DeepSeek. Falando ao New York Times, um ex-executivo líder do Google compartilhou como a alucinação é um grande problema, e não importa quantos sistemas avançados possam existir, eles sempre vão desapontar.
Então, o que isso significa para o mundo real ou o mundo dos negócios? Bem, os problemas não são apenas abstratos. Eles significam muito, porque impactam alguns negócios reais por aí. Imagine receber críticas por não relatar informações corretamente, e você nem ao menos pode se desculpar dizendo que confiou na IA.
Já está acontecendo, quando vimos a ferramenta de um programador líder chatear clientes após o modelo de suporte de IA Cursor fazer alegações falsas sobre como os usuários não podiam usar este software em vários computadores.
O erro levou ao cancelamento de tantas contas e reclamações do público. Eles não têm política, e os usuários podem usá-lo gratuitamente em qualquer dispositivo, compartilhou o CEO após as críticas. No entanto, a confiabilidade está realmente caindo para vários modelos de IA. O problema pode estar na maneira como eles são projetados.
A maioria das empresas continua usando o conceito de aprendizado por reforço, que envolve ensinar IA por meio da abordagem de tentativa e erro. Isso ajuda com a codificação e matemática, mas pode impactar a precisão factual. O problema tem mais a ver com a forma como são treinados. Eles estão focando mais em uma única tarefa e começam a esquecer o que foi feito anteriormente.
Os especialistas também compartilharam mais sobre como os novos modelos de IA estão pensando nas coisas, passo a passo. Isso é antes de produzirem uma resposta, e está tornando mais provável cometer um erro. Os profissionais de marketing não estão felizes, pois se sentem mal por usar IA para várias tarefas como produção de conteúdo, análise de dados e atendimento ao cliente. No final, isso pode prejudicar visualizações e impactar classificações de pesquisa, o que ninguém quer.
Imagine gastar tempo e esforço extras para determinar quais respostas são reais e quais não são. Se não forem tratadas corretamente, significa que você está degradando os valores do sistema. Então, o que os usuários do mundo profissional podem fazer para se manterem seguros?
Para começar, as revisões humanas são cruciais para o sucesso. Além disso, a verificação de fatos é essencial, assim como usar esses sistemas para ideias em vez de divulgar fatos. Os usuários também devem considerar ferramentas de IA que citam fontes. Isso forneceria etapas claras quando algo questionável é visto.