Na corrida para melhor IA, o prompt ainda vence

A corrida para melhor IA, foi dada a largada! Nesta semana, vimos divulgar novos concorrentes ao modelo ChatGPT. São dois adversários que prometem tornar essa corrida ainda mais disputada. Entretanto, todos os modelos ainda merecem ser utilizados com cautela.

Realizados um teste simples. Perguntamos, para as duas novidades que surgiram nessa semana, além de perguntar também para o ChatGPT.

Liste as 10 maiores cidades latino-americanas, sendo uma cidade por país.

Os resultados foram diferentes entre as três plataformas de IA. Testamos ambas as chinesas, Qwen2.5 max e Deppseek, novidades da semana na corrida para melhor IA, em comparação ao resultado da ChatGPT. Acompanhe o resultado na tabela a seguir.

Há variações entre os resultados. Na coluna do meio, Deppeseek não compreendeu exatamente o prompt. O seu resultado incluiu mais de uma cidade por país. Assim, Brasil, México e Colômbia apareceram com duas cidades por cada país.

Já as outras duas IA não cometeram essa falha. Entretanto, também possuem variações entre seus resultados. Até a sétima cidade da lista, foi tudo igual. Na oitava e nova posição houve discordâncias, sendo que voltaram a combinar os resultados na décima posição.

Demos outra oportunidade para Deppeseek nessa corrida para melhor IA. Informamos para IA o erro que cometeu, para que corrigisse seu resultado. Nessa segunda rodada, a Deppeseek seguiu os resultados das demais IAs até a sétima cidade. Contudo, aqui, continuou alternando a posição entre os dois primeiros resultados.

Para Deppeseek, a primeira cidade continuou sendo Cidade do México (México), ao invés de São Paulo (Brasil). Já para as três últimas cidades, a ferramenta considerou:

8. Guatemala City (Guatemala) - A capital da Guatemala, com uma população urbana de cerca de 3 milhões de habitantes.
9. Havana (Cuba) - A capital de Cuba, com uma população urbana de aproximadamente 2,1 milhões de habitantes.
10. San Salvador (El Salvador) - A capital de El Salvador, com uma população urbana de cerca de 1,8 milhão de habitantes.

Essas três últimas cidades divergem totalmente do resultado obtido pela Qwen2.5 max e ChatGPT.

Quem vence a corrida para melhor IA?

O prompt faz toda a diferença quanto se trata de obter o melhor resultado em qualquer IA. Como uma pergunta ou solicitação é estruturada pode influenciar drasticamente a qualidade e a relevância da resposta gerada. Um prompt bem elaborado não só fornece contexto, mas também orienta a IA sobre o que se espera dela, permitindo que ela utilize suas capacidades de forma mais eficaz.

Além disso, a clareza e a especificidade do prompt ajudam a reduzir ambiguidades. Quando os desenvolvedores ou usuários formulam suas perguntas de maneira precisa, a IA consegue entender melhor o que está sendo solicitado e, assim, pode oferecer insights mais relevantes e contextualizados. Essa habilidade de criar prompts eficazes é, portanto, uma competência essencial para maximizar o potencial das tecnologias baseadas em IA, permitindo que usuários de diferentes áreas obtenham resultados mais satisfatórios e aplicáveis às suas necessidades específicas.

Todo conteúdo da IA pode conter erros

As notas de rodapé podem ser sutis, mas estão lá, nas três plataformas. No geral, as IAs buscam deixar claro em suas notas que as informações fornecidas são imprecisas.

Para conferir e trazer como comparação essa informação, consultamos a base de estatísticas demográficas e sociais das Nações Unidas (ONU).

Assim, podemos perceber que essa informação pode variar, conforme a referência e os critérios de coleta de dados. Há variações como, por exemplo, disponibilidade da fonte informar o dado da cidade ou apenas da região metropolitana (causa de Santiago do Chile não constar na relação da ONU). Outro ponto pode ser o ano de referência da informação. Portanto, em se tratando desse tipo de análise, sempre importante rever os critérios. Detalhar a especificação no prompt ajudar a aprimorar o resultado a ser obtido.