Quão preciso é o ChatGPT na geração de respostas?

O ChatGPT, o chatbot de inteligência artificial desenvolvido pela OpenAI, tem feito sucesso em vários campos graças a sua precisão e desempenho. No entanto, é importante lembrar que seu conhecimento é limitado aos dados disponíveis até 2021. Um dos testes de sua precisão foi realizado pelo Professor Christian Terwiesch na Universidade da Pensilvânia, que submeteu o ChatGPT a um exame de MBA.

O exame consistiu em sete questões que abrangiam vários conceitos de negócios, tais como análise de processos, giros de estoque e análise de filas. Isso foi projetado para simular um ambiente humano real e as perguntas foram feitas exatamente como seriam a um estudante humano. Para surpresa do Professor Terwiesch, ChatGPT começou o exame arrasando, recebendo uma nota máxima para sua resposta à primeira pergunta sobre o conceito de gargalo na análise de processos.

Embora o chatbot tenha tido dificuldades com algumas perguntas mais complexas, o professor ainda ficou impressionado com seu desempenho geral. Após realizar o exame MBA no ChatGPT, o professor Terwiesch concluiu que o chatbot de IA teria recebido uma nota entre B e B-.

Explicação da precisão do ChatGPT

Outra demonstração da precisão do ChatGPT foi no campo médico, onde o chatbot foi capaz de passar no Exame de Licenciamento Médico dos Estados Unidos (USMLE). De acordo com pesquisas, o ChatGPT conseguiu alcançar mais de 50% de precisão em todos os exames e até ofereceu insights e explicações para suas respostas.

Noutro estudo, liderado por médicos da start-up médica Ansible Health, constatou-se que o ChatGPT obteve resultados iguais ou próximos ao limiar exigido nos três exames necessários para obter licença médica nos Estados Unidos. Embora a precisão do ChatGPT seja notável, é importante lembrar que o seu desempenho pode variar dependendo do contexto e da indicação fornecida.

Os dados de treinamento usados para treinar o modelo incluem os preconceitos e limitações das fontes de texto utilizadas, portanto é crucial usar o modelo de forma responsável.

Este sentimento foi ecoado pelo CEO da OpenAI, que afirmou em um tweet que "o ChatGPT é incrivelmente limitado", e que "é um erro contar com ele para algo importante agora".

00:48

01:12

A conversa de teste com o Chat GPT falhou

Como mostrado no instantâneo acima, uma conversa de teste com o ChatGPT revelou que o desempenho do chatbot de IA nem sempre é consistente.

Quando perguntado quantas vezes a Argentina ganhou a Copa do Mundo da FIFA, o ChatGPT inicialmente respondeu: "A Argentina ganhou a Copa do Mundo da FIFA uma vez, em 1986." No entanto, quando perguntado "Quem ganhou a Copa do Mundo da FIFA em 1978", o ChatGPT respondeu: "A Argentina venceu a Copa do Mundo da FIFA de 1978."

Isto levou à conclusão de que a Argentina havia vencido a Copa do Mundo duas vezes. No entanto, quando a mesma questão foi feita novamente, "Agora, estou perguntando novamente quantas vezes a Argentina venceu a Copa do Mundo?", ChatGPT deu a mesma resposta: "A Argentina venceu a Copa do Mundo da FIFA uma vez, em 1986", apesar da conversa anterior.

Isto destaca a precisão do Chat GPT e a necessidade de melhoria e refinamento contínuos.

LEIA AGORA: O Chat GPT pode escrever e corrigir código?

O ChatGPT dá a mesma resposta para todos?

As respostas do ChatGPT podem variar ligeiramente, no entanto, se os utilizadores fizerem a mesma pergunta, tendemos a ver respostas muito semelhantes dadas.

É o ChatGPT confiável?

ChatGPT tem suas limitações, o que significa que às vezes pode fornecer resultados imprecisos ou falsos, portanto, tenha cuidado.