Os pesquisadores da Microsoft estão usando o ChatGPT para instruir robôs e drones

O ChatGPT da OpenAI não é apenas bom em gerar respostas de texto coerentes para solicitações de linguagem natural - ele também pode desempenhar um papel em interações humano-robô e usar o feedback do sensor para escrever o código para ações de robô.

A Microsoft conduziu recentemente uma pesquisa para "ver se o ChatGPT pode pensar além do texto e raciocinar sobre o mundo físico para ajudar com tarefas de robótica." O objetivo era ver se as pessoas podem usar o ChatGPT para instruir robôs sem aprender linguagens de programação ou entender sistemas robóticos.

Em profundidade: Estes especialistas estão correndo para proteger a Inteligência Artificial de hackers. O tempo está se esgotando

"O desafio aqui é ensinar ao ChatGPT como resolver problemas considerando as leis da física, o contexto do ambiente operacional e como as ações físicas do robô podem mudar o estado do mundo", observa uma equipe da Microsoft Autonomous Systems and Robotics Research em uma postagem no blog.

Os pesquisadores da Microsoft exploraram a capacidade do ChatGPT de gerar código, principalmente em Python, para cenários de robótica, como geração de código e planeamento zero-shot, depois de terem dado acesso aos dados de detecção de objetos e distância de objetos através de interfaces de aplicação.

O ChatGPT pode produzir código porque foi treinado em grandes quantidades de código e texto escrito. O sistema foi mostrado como capaz de resolver problemas de codificação e depurar programas, com a capacidade única adicional de responder a diálogos e buscar esclarecimentos. Há também o Codex, modelo baseado no GPT-3 da OpenAI, que serve de base para o serviço de programação combinada do GitHub's Copilot, que auto completa o código para desenvolvedores em diversas linguagens de programação(GitHub's Copilot).

Também: O que é ChatGPT? Aqui está tudo o que você precisa saber

Com essas capacidades de diálogo e esclarecimento em mente, a Microsoft testou a habilidade do ChatGPT como uma interface baseada em linguagem entre um usuário não técnico e um drone. Conforme observado pelos pesquisadores em um artigo, embora o GPT-3, LaMDA e Codex tenham mostrado promessa em tarefas de planejamento robótico e geração de código, o ChatGPT especificamente é "uma ferramenta potencialmente mais versátil para o domínio da robótica, já que incorpora as fortalezas dos modelos de linguagem natural e geração de código junto com a flexibilidade do diálogo."

Os pesquisadores observam em sua postagem no blog: "ChatGPT fez perguntas de esclarecimento quando as instruções do usuário eram ambíguas e escreveu estruturas de código complexas para o drone, como um padrão de zigue-zague para inspecionar visualmente as prateleiras."

A Microsoft testou a ChatGPT para usar um braço robótico para mover blocos formando o logotipo da Microsoft. Os pesquisadores também atribuíram à ChatGPT a tarefa de escrever um algoritmo para um drone alcançar um ponto sem colidir com obstáculos. Eles também testaram se a ChatGPT pode decidir para onde um robô deve ir com base no feedback do sensor em tempo real.

Investigadores do Google Research e da Everyday Robots, empresa detida pela Alphabet, também trabalharam em desafios de robótica semelhantes usando modelos de linguagem grandes chamados PaLM, ou Pathways Language Model, que ajudaram um robô a processar prompts abertos e responder de maneira razoável.