11 Desvantagens do Conteúdo de ChatGPT

Destacados

• Por que o conteúdo de baixa qualidade do ChatGPT passa pela revisão humana.
• O ChatGPT é abrangente mesmo quando deveria ser conciso.
• O professor cita uma falha que arruina as redações geradas pelo ChatGPT.
• O ChatGPT falha no teste de detecção de andróides fictícios Voight-Kampff e a razão surpreendente pela qual isso importa.

ChatGPT produz conteúdo que é abrangente e plausivelmente preciso.

Mas investigadores, artistas e professores alertam para as falhas a ter em conta que reduzem a qualidade do conteúdo.

Neste artigo, vamos analisar 11 desvantagens do conteúdo do ChatGPT. Vamos começar.

1. O uso de frases torna-o detectável como não humano

Investigadores que estudam como detetar conteúdo gerado por máquinas descobriram padrões que o tornam artificial.

Uma das particularidades é como a IA tem dificuldade com os idiomas.

Um provérbio é uma frase ou ditado com um significado figurativo atribuído a ele, por exemplo, "depois da tempestade vem a bonança".

A falta de expressões idiomáticas dentro de um conteúdo pode ser um sinal de que o conteúdo foi gerado por máquina - e isso pode fazer parte de um algoritmo de detecção.

É isto que o artigo de pesquisa de 2022 Adversarial Robustness of Neural-Statistical Features in Detection of Generative Transformers diz sobre essa peculiaridade no conteúdo gerado por máquinas:

"As características frásicas complexas baseiam-se na frequência de palavras e frases específicas no texto analisado, que ocorrem com mais frequência em textos humanos."

…Dentre essas características frasais complexas, as características de expressões idiomáticas mantêm o maior poder preditivo na detecção dos modelos generativos atuais.

Esta incapacidade de usar expressões idiomáticas contribui para que a saída do ChatGPT soe e leia-se de forma pouco natural.

2. ChatGPT Falta de habilidade para expressão

Um artista comentou que a saída do ChatGPT imita o que a arte é, mas falta as verdadeiras qualidades da expressão artística.

Expressão é o ato de comunicar pensamentos ou sentimentos.

A saída do ChatGPT não contém expressões, apenas palavras.

Não pode produzir conteúdo que toque emocionalmente as pessoas no mesmo nível que um ser humano pode - porque não tem pensamentos ou sentimentos reais.

O artista musical Nick Cave, em um artigo publicado em seu boletim informativo Red Hand Files, comentou sobre uma letra de música do ChatGPT que lhe foi enviada, criada no estilo de Nick Cave.

Nova Toolkit de Marketing de Conteúdo com Inteligência Artificial
Adote tecnologias de próxima geração antes que seus concorrentes o façam. Crie conteúdo bem otimizado e direcionado, que fornece resultados três vezes mais rapidamente.

Ele escreveu:

"O que torna uma grande música grande não é a sua semelhança com uma obra reconhecível.

...é o confronto sem fôlego com a vulnerabilidade, periculosidade e pequenez de alguém, confrontados com uma sensação de descoberta surpreendente; é o ato artístico que redime e agita o coração do ouvinte, onde este reconhece no interior da canção o seu próprio sangue, a sua própria luta, o seu próprio sofrimento.

O Cave chamou as letras do ChatGPT de zombaria.

Esta é a letra do ChatGPT que se assemelha a uma letra do Nick Cave:

"Tenho o sangue dos anjos nas minhas mãos
Tenho o fogo do inferno nos meus olhos
Sou o rei do abismo, sou o governante do escuro
Sou aquele que eles temem, nas sombras escutam"

E esta é uma letra real do Nick Cave (Brother, My Cup Is Empty):

“Bem, tenho escorregado em arco-íris
Tenho balançado pelas estrelas
Agora este miserável em trajes de mendigo
Bate sua xícara pelas grades
Veja, esta minha xícara está vazia!
Parece que perdi meus desejos
Parece que estou varrendo as cinzas
De todos os meus antigos fogos”

É fácil ver que a letra gerada pela máquina se assemelha à letra do artista, mas na verdade não comunica nada.

As letras de Nick Cave contam uma história que ressoa com o patos, desejo, vergonha e decepção intencional da pessoa falando na música. Expressa pensamentos e sentimentos.

É fácil perceber por que Nick Cave o chama de zombaria.

3. ChatGPT não produz insights

Um artigo publicado em The Insider citou um acadêmico que observou que os ensaios acadêmicos gerados pelo ChatGPT não possuem insights sobre o tópico.

O ChatGPT resume o tópico, mas não oferece uma visão única sobre o assunto.

Os seres humanos criam através do conhecimento, mas também através de suas experiências pessoais e percepções subjetivas.

O professor Christopher Bartel da Appalachian State University é citado pelo The Insider como tendo dito que, embora um ensaio do ChatGPT possa exibir alta qualidade gramatical e ideias sofisticadas, ainda carece de perspicácia.

Bartel disse:

"Eles são realmente fofinhos. Não há contexto, não há profundidade ou perspectiva."

A compreensão é o ponto de referência de um ensaio bem feito e é algo que ChatGPT não é particularmente bom nisso.

Esta falta de perspetiva é algo a ter em mente ao avaliar conteúdo gerado por máquinas.

4. ChatGPT é demasiado prolixo

Um trabalho de pesquisa publicado em janeiro de 2023 descobriu padrões no conteúdo do ChatGPT que o tornam menos adequado para aplicações críticas.

O artigo tem o título, Quão próximo o ChatGPT está dos especialistas humanos? Comparação de Corpus, Avaliação e Detecção.

A pesquisa mostrou que mais de 50% das pessoas preferiram respostas do ChatGPT em perguntas relacionadas a finanças e psicologia.

Mas o ChatGPT falhou em responder a perguntas médicas porque os humanos preferiam respostas diretas - algo que a IA não fornecia.

Os pesquisadores escreveram:

"... O ChatGPT tem um desempenho fraco em termos de utilidade para o domínio médico em inglês e chinês."

O ChatGPT frequentemente fornece respostas longas para consultas médicas em nosso conjunto de dados coletados, enquanto especialistas humanos podem dar diretamente respostas ou sugestões diretas, o que pode explicar em parte por que os voluntários consideram as respostas humanas mais úteis no domínio médico.

O ChatGPT tende a cobrir um tópico sob diferentes ângulos, o que o torna inadequado quando a melhor resposta é direta.

Os profissionais de marketing que utilizam o ChatGPT devem ter em conta que visitantes do site que procuram uma resposta direta não ficarão satisfeitos com uma página web prolixa.

E boa sorte em classificar uma página excessivamente verbal no destaque de snippets do Google, onde uma resposta sucinta e claramente expressa que pode funcionar bem na Voz do Google pode ter uma chance melhor de se classificar do que uma resposta prolixa.

OpenAI, os criadores do ChatGPT, reconhecem que dar respostas verbosas é uma limitação conhecida.

O artigo de anúncio da OpenAI afirma:

"O modelo muitas vezes é excessivamente verboso..."

O fato de o ChatGPT ter uma tendência a fornecer respostas longas é algo a ter em mente ao usar a saída do ChatGPT, pois você pode se deparar com situações em que respostas mais curtas e diretas são melhores.

5. O conteúdo do ChatGPT é altamente organizado com lógica clara

O ChatGPT tem um estilo de escrita que não é apenas verboso, mas também tende a seguir um modelo que confere ao conteúdo um estilo único que não é humano.

Esta qualidade desumana é revelada nas diferenças entre a forma como humanos e máquinas respondem perguntas.

O filme Blade Runner tem uma cena com uma série de perguntas projetadas para revelar se a pessoa que responde às perguntas é um humano ou um androide.

Estas questões faziam parte de um teste fictício chamado "teste Voigt-Kampff".

Uma das perguntas é:

“Estás a ver televisão. De repente, percebes que há uma vespa a rastejar no teu braço. O que fazes?"

Uma resposta normal humana seria dizer que gritariam, sairiam e bateriam nele e assim por diante.

Mas quando fiz esta pergunta ao ChatGPT, ele ofereceu uma resposta meticulosamente organizada que resumiu a pergunta e ofereceu múltiplos resultados lógicos possíveis - falhando em responder efetivamente à pergunta.

Captura de tela do ChatGPT respondendo a uma pergunta do teste de Voight-Kampff

A resposta é altamente organizada e lógica, o que lhe confere uma sensação altamente artificial, o que é indesejável.

6. ChatGPT é Excessivamente Detalhado e Abrangente

ChatGPT foi treinado de uma forma que recompensava a máquina quando os humanos estavam satisfeitos com a resposta.

Os avaliadores humanos tendem a preferir respostas que possuem mais detalhes.

Mas às vezes, como no contexto médico, uma resposta direta é melhor do que uma abrangente.

O que isto significa é que a máquina precisa de ser orientada para ser menos compreensiva e mais direta quando essas qualidades são importantes.

De OpenAI:

"Estes problemas surgem de vieses nos dados de treinamento (treinadores preferem respostas mais longas que parecem mais abrangentes) e problemas conhecidos de super-otimização."

7. ChatGPT Mente (Alucina Factos)

O artigo de pesquisa acima citado, Quão Perto o ChatGPT Está dos Especialistas Humanos?, observou que o ChatGPT tem uma tendência a mentir.

Relata:

"Ao responder uma pergunta que exige conhecimento profissional de determinado campo, ChatGPT pode fabricar fatos a fim de dar uma resposta..."

Por exemplo, em questões legais, o ChatGPT pode inventar algumas disposições legais inexistentes para responder à pergunta.

…Além disso, quando um usuário faz uma pergunta que não tem resposta existente, o ChatGPT também pode inventar fatos para fornecer uma resposta.

O site Futurism documentou casos em que o conteúdo gerado por máquinas publicado no CNET estava errado e cheio de "erros tolos".

A CNET deveria ter tido uma ideia de que isso poderia acontecer, porque a OpenAI publicou um aviso sobre resultados incorretos:

"O ChatGPT às vezes escreve respostas plausíveis, mas incorretas ou sem sentido."

O CNET afirma ter submetido os artigos gerados por máquinas a revisão humana antes da publicação.

Um problema com a revisão humana é que o conteúdo do ChatGPT é projetado para parecer persuasivamente correto, o que pode enganar um revisor que não é um especialista no assunto.

8. ChatGPT é antinatural porque não é divergente

O artigo de pesquisa, Quão Perto está o ChatGPT dos Especialistas Humanos? também observou que a comunicação humana pode ter significado indireto, o que requer uma mudança de tópico para entendê-la.

O ChatGPT é muito literal, o que às vezes faz com que as respostas não acertem totalmente, pois a IA ignora o assunto real.

Os pesquisadores escreveram:

As respostas do ChatGPT são geralmente estritamente focadas na pergunta dada, enquanto as dos humanos são divergentes e facilmente transicionam para outros tópicos.

Em termos de riqueza de conteúdo, os seres humanos são mais divergentes em diferentes aspectos, enquanto o ChatGPT prefere se concentrar apenas na questão em si.

Os humanos podem responder ao significado oculto da pergunta com base em seu próprio senso comum e conhecimento, mas o ChatGPT se baseia nas palavras literais da pergunta em questão…”

Os humanos são melhores em se desviar da pergunta literal, o que é importante para responder a perguntas do tipo "e quanto a".

Por exemplo, se eu perguntar:

“Cavalos são muito grandes para serem animais de estimação em casa. E os guaxinins?”

A questão acima não está perguntando se um guaxinim é um animal de estimação apropriado. A questão é sobre o tamanho do animal.

ChatGPT concentra-se na adequação do guaxinim como animal de estimação em vez de focar no tamanho.

Captura de tela de uma resposta do ChatGPT excessivamente literal

9. ChatGPT tem uma tendência de ser neutro

O resultado do ChatGPT é geralmente neutro e informativo. O viés na saída pode parecer útil, mas nem sempre é.

O artigo de pesquisa que acabamos de discutir referiu que neutralidade é uma qualidade indesejada quando se trata de questões legais, médicas e técnicas.

Os seres humanos tendem a escolher um lado ao oferecer esse tipo de opinião.

10. ChatGPT é tendencioso para ser formal

O ChatGPT tem um viés que o impede de se soltar e responder com expressões comuns. Em vez disso, suas respostas tendem a ser formais.

Os humanos, por outro lado, tendem a responder a perguntas de forma mais coloquial, usando linguagem cotidiana e gírias - o oposto do formal.

O ChatGPT não utiliza abreviaturas como GOAT ou TL;DR.

As respostas também não apresentam instâncias de ironia, metáforas e humor, o que pode tornar o conteúdo do ChatGPT excessivamente formal para alguns tipos de conteúdo.

Os pesquisadores escrevem:

“... O ChatGPT gosta de usar conjunções e advérbios para transmitir uma sequência lógica de ideias, como "em geral”, "por outro lado", "em primeiro lugar" , "em segundo lugar", "Por fim" e assim por diante.

11. O ChatGPT Ainda Está em Treinamento

O ChatGPT ainda está em processo de treinamento e melhoria.

O OpenAI recomenda que todo o conteúdo gerado pelo ChatGPT seja revisto por um ser humano, listando isso como uma melhor prática.

OpenAI sugere manter os humanos no circuito:

“Onde for possível, recomendamos que os resultados sejam revistos por um humano antes de serem utilizados na prática.

Isto é especialmente crítico em domínios de alto risco, e para geração de código.

Os humanos devem estar cientes das limitações do sistema e ter acesso a qualquer informação necessária para verificar as saídas (por exemplo, se a aplicação resumir notas, um humano deve ter acesso fácil às notas originais para consultá-las novamente).

Qualidades Indesejadas do ChatGPT

É claro que existem muitos problemas com ChatGPT que o tornam inadequado para geração de conteúdo não supervisionado. Ele contém viéses e não consegue criar conteúdo que pareça natural ou contenha insights genuínos.

Além disso, a sua incapacidade de sentir ou criar pensamentos originais torna-o uma má escolha para gerar expressões artísticas.

Os usuários devem seguir as instruções detalhadas a fim de gerar um conteúdo melhor do que o conteúdo padrão que costuma ser produzido.

Por último, a revisão humana do conteúdo gerado por máquina nem sempre é suficiente, porque o conteúdo do ChatGPT é projetado para parecer correto, mesmo quando não está.

Isto significa que é importante que os revisores humanos sejam especialistas no assunto e possam discernir entre conteúdo correto e incorreto sobre um tópico específico.