Pesquisadores do Centro de Robótica (CRob) da Escola de Engenharia de São Carlos (EESC) da USP desenvolveram um sistema de controle remoto intuitivo para guiar a teleoperação de braços robóticos em robôs quadrúpedes. A tecnologia possibilita que os robôs reproduzam movimentos do braço humano em tempo real, tornando sua manipulação mais fácil e segura. O trabalho foi eleito como melhor paper no Simpósio Latino-Americano de Robótica (LARS) de 2025 e agora a equipe trabalha para publicação dos resultados em uma revista científica.
|
O novo sistema substitui a teleoperação tradicional via joystick, semelhante a controles de videogame, que, segundo os pesquisadores, não é intuitiva e demanda conhecimento técnico específico. Murilo Vinicius da Silva, estudante de engenharia da computação e coautor do trabalho, explica que o objetivo é simplificar a teleoperação. “O nosso foco era pegar essas ferramentas e facilitar a vida. Nada mais intuitivo do que você controlar o braço do robô com o seu próprio braço”, completa. O estudo foi desenvolvido com o robô Spot, da empresa de engenharia robótica Boston Dynamics, geralmente utilizado para acessar ambientes remotos e perigosos de maneira mais segura. No caso da pesquisa, sua aplicação foi pensada para uma base offshore, que são instalações de apoio para exploração e produção de petróleo e gás natural em alto-mar. Apesar de já contar com funcionalidades importantes, como o desvio de obstáculos, o projeto adiciona a ele aplicações que não são originais de fábrica, mas que são necessárias para o contexto da base. |
 |
|
A iniciativa conta com o apoio da Petrobras, que pretende utilizar o projeto para manipulação e manutenção de sistemas industriais em ambientes onde a presença humana não é viável. “O quadrúpede se encaixa nesse contexto, graças a esse atributo de poder andar em vários terrenos, subir escadas e manusear certas ferramentas com o braço”, explica Matheus Hipólito Carvalho, estudante de Engenharia Mecatrônica na EESC e coautor da pesquisa. A tecnologia permite maior autonomia para bases offshore. “A ideia da Petrobras é realmente ter muitos robôs na plataforma, que façam tanto a identificação dos objetos quanto o mapeamento dela e a sua manutenção”, explica Silva. |
|
 |
Braço robótico x braço humano
Para que a teleoperação aconteça, o braço robótico rastreia a posição do pulso do operador por meio de uma câmera de profundidade, que realiza uma estimativa para que o controle contínuo possa ser feito sem colisões. A aquisição dessas imagens é dividida em duas etapas: calibração via marcadores ArUco e rastreamento via MediaPipe Pose.
A função é iniciada após a demarcação de um ponto de referência feita pelo usuário e estabelecida pelo marcador ArUco — um padrão visual quadrado, binário e único, semelhante a um QR Code —, que é posicionado em frente ao peito do operador. Após a identificação, o MediaPipe Pose, algoritmo de visão computacional do Google, detecta pontos do corpo para a leitura e extrai as coordenadas do pulso direito do operador. “Identificamos esse ponto do pulso e traduzimos para o robô ao determinar a posição do corpo em relação à câmera”, completa Silva.
A partir deste ponto determinado, os comandos para o movimento são transmitidos ao Kit de Desenvolvimento de Software (SDK) da Boston Dynamics por meio de interfaces de framework de código aberto – em que qualquer pessoa pode visualizá-lo e modificá-lo. Segundo os pesquisadores, este era o grande desafio: conseguir traduzir os movimentos humanos para o robô.
O sistema pode ser alternado entre os modos manual e autônomo, que podem ser escolhidos através da identificação da contagem de dedos. Se o usuário levantar um dedo, o modo de teleoperação manual é acionado; se dois dedos forem levantados, o modo semiautônomo é ativado, enquanto o modo autônomo é acionado pelo gesto de mão fechada.
No modo de teleoperação manual, um circuito de controle sincroniza o braço do Spot com a posição pretendida pelo usuário e as ações da garra – abrir e fechar – são ativadas em resposta aos gestos mostrados. O semiautônomo utiliza uma rede de detecção para reconhecer os objetos da cena. O modo de preensão do objeto é ativado pelo gesto de punho fechado e a liberação pelo gesto de palma aberta, e o robô realiza de maneira autônoma a aproximação e a atuação da garra.
O projeto foi idealizado e orientado por Ricardo Godoy, pesquisador de pós-doutorado na USP – Imagem: Cedida pelos pesquisadores
Carvalho destaca que a maior dificuldade no modo manual era entender a profundidade necessária para segurar os objetos, enquanto no modo autônomo o próprio robô é responsável por realizar o movimento. Ele aponta que, ao comparar com a teleoperação anterior, a principal evolução é conseguir controlar tendo uma resposta visual, um dos fatores que permitem maior acessibilidade.
Ambiente simulado
Um ambiente de validação foi desenvolvido para testar a proposta antes de ser aplicada em cenários reais. Neste ambiente foram avaliadas a precisão, a capacidade de resposta e os mecanismos de segurança do sistema em condições controladas. Segundo Carvalho, a partir do trabalho de simulação, os pesquisadores puderam entender o funcionamento do modelo e treinar com os objetos.
Para a validação da teleoperação real, os pesquisadores realizaram conjuntos de experimentos com as seguintes tarefas: abordagem orientada dos objetos, iniciação da preensão, manipulação de objetos e liberação do objeto. Durante os testes, os operadores deveriam pegar dois objetos do cotidiano e colocá-los em uma caixa de armazenamento.
Silva destaca que foram necessárias diversas tentativas, mas que os resultados foram bem-sucedidos. “A gente foi moldando, foi errando, acertando, errando”, afirma, acrescentando que o projeto é constante e segue em evolução.
Para as futuras avaliações, os pesquisadores pretendem contar com a participação de pessoas especialistas e não especialistas, para validar o funcionamento do sistema desenvolvido. Os pesquisadores buscam também uma implementação mais generalista, para que seja aplicável em outros robôs independentes do sistema de teste.
O vídeo demonstra o funcionamento da teleoperação