A Vision dá a um braço robótico um mapa, mas não dá uma pegada.

Tente pegar um ovo usando apenas dados de câmera e zero feedback de força: ou você esmaga ou deixa cair. Não há nenhum sinal dizendo ao atuador “você está a 80% da pressão de fratura, reduza a força”.
Esse sinal só existe como dados táteis: força, torque, pressão tátil, detecção de deslizamento.
É por isso que o “gargalo da Embodied AI” já não é um problema de visão. É um problema de toque. Você pode ter um modelo 3D perfeito de uma maçaneta e ainda falhar ao girá-la se o gripper não souber quão forte está apertando ou quando está escorregando.
Esse é o problema que o modelo Teleop-to-Earn de @InvLambda foi criado para resolver. Em vez de torcer para que a simulação consiga aproximar a fricção e a conformidade do mundo real, o T2E coloca operadores humanos no loop; mãos reais, destreza real, gerando os conjuntos de dados multimodais (visuais + táteis) que ambientes de simulação não conseguem falsificar.
A visão diz ao robô onde o mundo está.
As haptics dizem a ele como tocar.
A segunda é a questão mais difícil e a que, de fato, está sendo resolvida agora.
@InvLambda #InvertedLambdaTheBreach #InvertedLambda #Robotics #Teleoperation #SecondContact #SecondContactTheBreach