Sistema de teleoperação traduz movimentos humanos para braços robóticos
Pesquisadores do Centro de Robótica (CRob) da Escola de Engenharia de São Carlos (EESC) da USP desenvolveram um sistema de controle remoto intuitivo para guiar a teleoperação de braços robóticos em robôs quadrúpedes. A tecnologia possibilita que os robôs reproduzam movimentos do braço humano em tempo real, tornando sua manipulação mais fácil e segura. O trabalho foi eleito como melhor paper no Simpósio Latino-Americano de Robótica (LARS) de 2025 e agora a equipe trabalha para publicação dos resultados em uma revista científica.
|
O novo sistema substitui a teleoperação tradicional via joystick, semelhante a controles de videogame, que, segundo os pesquisadores, não é intuitiva e demanda conhecimento técnico específico. Murilo Vinicius da Silva, estudante de engenharia da computação e coautor do trabalho, explica que o objetivo é simplificar a teleoperação. “O nosso foco era pegar essas ferramentas e facilitar a vida. Nada mais intuitivo do que você controlar o braço do robô com o seu próprio braço”, completa. O estudo foi desenvolvido com o robô Spot, da empresa de engenharia robótica Boston Dynamics, geralmente utilizado para acessar ambientes remotos e perigosos de maneira mais segura. No caso da pesquisa, sua aplicação foi pensada para uma base offshore, que são instalações de apoio para exploração e produção de petróleo e gás natural em alto-mar. Apesar de já contar com funcionalidades importantes, como o desvio de obstáculos, o projeto adiciona a ele aplicações que não são originais de fábrica, mas que são necessárias para o contexto da base. |
 |
|
A iniciativa conta com o apoio da Petrobras, que pretende utilizar o projeto para manipulação e manutenção de sistemas industriais em ambientes onde a presença humana não é viável. “O quadrúpede se encaixa nesse contexto, graças a esse atributo de poder andar em vários terrenos, subir escadas e manusear certas ferramentas com o braço”, explica Matheus Hipólito Carvalho, estudante de Engenharia Mecatrônica na EESC e coautor da pesquisa. A tecnologia permite maior autonomia para bases offshore. “A ideia da Petrobras é realmente ter muitos robôs na plataforma, que façam tanto a identificação dos objetos quanto o mapeamento dela e a sua manutenção”, explica Silva. |
|
 |
Braço robótico x braço humano
Para que a teleoperação aconteça, o braço robótico rastreia a posição do pulso do operador por meio de uma câmera de profundidade, que realiza uma estimativa para que o controle contínuo possa ser feito sem colisões. A aquisição dessas imagens é dividida em duas etapas: calibração via marcadores ArUco e rastreamento via MediaPipe Pose.
A função é iniciada após a demarcação de um ponto de referência feita pelo usuário e estabelecida pelo marcador ArUco — um padrão visual quadrado, binário e único, semelhante a um QR Code —, que é posicionado em frente ao peito do operador. Após a identificação, o MediaPipe Pose, algoritmo de visão computacional do Google, detecta pontos do corpo para a leitura e extrai as coordenadas do pulso direito do operador. “Identificamos esse ponto do pulso e traduzimos para o robô ao determinar a posição do corpo em relação à câmera”, completa Silva.
A partir deste ponto determinado, os comandos para o movimento são transmitidos ao Kit de Desenvolvimento de Software (SDK) da Boston Dynamics por meio de interfaces de framework de código aberto – em que qualquer pessoa pode visualizá-lo e modificá-lo. Segundo os pesquisadores, este era o grande desafio: conseguir traduzir os movimentos humanos para o robô.
O sistema pode ser alternado entre os modos manual e autônomo, que podem ser escolhidos através da identificação da contagem de dedos. Se o usuário levantar um dedo, o modo de teleoperação manual é acionado; se dois dedos forem levantados, o modo semiautônomo é ativado, enquanto o modo autônomo é acionado pelo gesto de mão fechada.
No modo de teleoperação manual, um circuito de controle sincroniza o braço do Spot com a posição pretendida pelo usuário e as ações da garra – abrir e fechar – são ativadas em resposta aos gestos mostrados. O semiautônomo utiliza uma rede de detecção para reconhecer os objetos da cena. O modo de preensão do objeto é ativado pelo gesto de punho fechado e a liberação pelo gesto de palma aberta, e o robô realiza de maneira autônoma a aproximação e a atuação da garra.
O projeto foi idealizado e orientado por Ricardo Godoy, pesquisador de pós-doutorado na USP – Imagem: Cedida pelos pesquisadores
Carvalho destaca que a maior dificuldade no modo manual era entender a profundidade necessária para segurar os objetos, enquanto no modo autônomo o próprio robô é responsável por realizar o movimento. Ele aponta que, ao comparar com a teleoperação anterior, a principal evolução é conseguir controlar tendo uma resposta visual, um dos fatores que permitem maior acessibilidade.
Ambiente simulado
Um ambiente de validação foi desenvolvido para testar a proposta antes de ser aplicada em cenários reais. Neste ambiente foram avaliadas a precisão, a capacidade de resposta e os mecanismos de segurança do sistema em condições controladas. Segundo Carvalho, a partir do trabalho de simulação, os pesquisadores puderam entender o funcionamento do modelo e treinar com os objetos.
Para a validação da teleoperação real, os pesquisadores realizaram conjuntos de experimentos com as seguintes tarefas: abordagem orientada dos objetos, iniciação da preensão, manipulação de objetos e liberação do objeto. Durante os testes, os operadores deveriam pegar dois objetos do cotidiano e colocá-los em uma caixa de armazenamento.
Silva destaca que foram necessárias diversas tentativas, mas que os resultados foram bem-sucedidos. “A gente foi moldando, foi errando, acertando, errando”, afirma, acrescentando que o projeto é constante e segue em evolução.
Para as futuras avaliações, os pesquisadores pretendem contar com a participação de pessoas especialistas e não especialistas, para validar o funcionamento do sistema desenvolvido. Os pesquisadores buscam também uma implementação mais generalista, para que seja aplicável em outros robôs independentes do sistema de teste.
O vídeo demonstra o funcionamento da teleoperação