Bi-Touch: Avanzando l'interazione dei robot a braccio doppio
Il sistema Bi-Touch migliora la capacità dei robot di manipolare oggetti con il tatto e la vista.
― 7 leggere min
Indice
- La Necessità di Manipolazione bimanuale
- Il Sistema Bi-Touch
- Compiti per la Manipolazione Bimanuale
- Apprendere dal Feedback
- Sfide Incontrate
- L'Importanza del Feedback tattile
- Impostare il Sistema a Due Braccia
- Il Framework di Apprendimento
- Sperimentazione e Risultati
- Discussione
- Direzioni Future
- Conclusione
- Fonte originale
- Link di riferimento
I robot che possono usare entrambe le braccia sono molto utili per gestire oggetti grandi o scomodi. Tuttavia, insegnare loro a farlo in modo efficace non è facile. Un'area che aiuta a rendere i robot più intelligenti è l'uso del tatto. Combinando il tatto con le informazioni visive, i robot possono svolgere compiti complessi più facilmente. Questo progetto presenta un sistema robotico chiamato Bi-Touch, che utilizza il feedback del tatto per gestire compiti con due braccia.
Manipolazione bimanuale
La Necessità diLa manipolazione bimanuale significa usare entrambe le mani per eseguire un compito. È qualcosa che gli esseri umani fanno naturalmente e può essere vantaggioso anche per i robot. Quando i robot possono usare entrambe le braccia, possono gestire oggetti più grandi e muoverli in modo più flessibile. Tuttavia, costruire sistemi che permettano ai robot di usare entrambe le braccia in modo efficace è abbastanza complicato. Non solo la tecnologia è costosa, ma capire come far lavorare insieme queste braccia può essere una sfida.
Il Sistema Bi-Touch
Il sistema Bi-Touch è costruito usando due braccia robotiche di tipo industriale che non sono molto costose. Abbiamo dotato queste braccia di sensori speciali che possono sentire e rilevare il tatto. Questi sensori aiutano il robot a capire quanta forza usare quando interagisce con gli oggetti, fondamentale per mantenere la stabilità e evitare danni.
Compiti per la Manipolazione Bimanuale
Il sistema Bi-Touch è progettato per svolgere tre tipi principali di compiti che richiedono entrambe le braccia. Questi compiti sfruttano la capacità del robot di sentire e percepire:
Bi-Pushing: In questo compito, il robot usa entrambe le braccia per muovere un oggetto grande lungo una superficie. L'obiettivo è spingere l'oggetto in una posizione specifica.
Bi-Reorienting: Questo compito implica ruotare un oggetto a un certo angolo senza sollevarlo. Il robot deve mantenere l'oggetto stabile mentre cambia la sua posizione.
Bi-Gathering: In questo compito, il robot deve spingere due oggetti l'uno verso l'altro fino a farli toccare. È un po' complicato perché il bersaglio si muove mentre gli oggetti vengono spinti.
Apprendere dal Feedback
Per insegnare al robot come completare questi compiti, usiamo un metodo chiamato deep reinforcement learning. Questo è un tipo di intelligenza artificiale che permette ai robot di imparare dalle proprie azioni e migliorare nel tempo. Il robot riceve ricompense quando fa progressi nel completare un compito. Attraverso questo rinforzo, il robot impara le migliori azioni da intraprendere in diverse situazioni.
Per il compito di bi-pushing, il robot riceve ricompense per aver spostato con successo l'oggetto più vicino alla posizione obiettivo. Nel bi-reorienting, la ricompensa si basa su quanto bene il robot mantiene la posizione dell'oggetto mentre lo ruota all'angolo target. Nel bi-gathering, le ricompense aumentano man mano che i due oggetti si avvicinano.
Sfide Incontrate
Durante l'addestramento del sistema Bi-Touch, ci siamo imbattuti in alcune sfide. Un problema importante era la differenza tra ciò che il robot imparava nelle simulazioni e ciò che sperimentava nella vita reale. A volte, un robot addestrato in una simulazione al computer stringeva un oggetto troppo forte quando non era necessario, portando a potenziali danni.
Per affrontare ciò, abbiamo fatto aggiustamenti alla simulazione, come cambiare il modo in cui il robot interagisce con gli oggetti per essere più sensibile alla pressione.
Feedback tattile
L'Importanza delUsare il tatto è cruciale per i compiti che coinvolgono l'interazione con gli oggetti. La sola vista non è sempre sufficiente, specialmente quando la forma o la texture dell'oggetto rendono difficile vederlo chiaramente. I sensori tattili forniscono ai robot informazioni su quanto forte sia la presa e se stanno per lasciare cadere o danneggiare un oggetto.
Il feedback tattile è particolarmente importante per compiti che richiedono precisione. Ad esempio, se un robot sta cercando di posizionare delicatamente un oggetto fragile, deve sapere quanto forte spingere e quando fermarsi in base alle informazioni provenienti dai suoi sensori.
Impostare il Sistema a Due Braccia
Il sistema Bi-Touch è composto da due braccia robotiche posizionate su un tavolo dove possono raggiungersi e manipolare gli oggetti. Ogni braccio ha un sensore tattile alla fine che funziona come un dito umano, fornendo feedback necessario sul contatto tra il robot e l'oggetto.
I sensori sono progettati per essere economici pur fornendo feedback ad alta risoluzione. Ciò significa che possono rilevare piccoli cambiamenti quando il robot tocca qualcosa, il che è utile per una manipolazione fine.
Il Framework di Apprendimento
Il processo di apprendimento coinvolge diversi passaggi. Prima, il robot pratica in un ambiente simulato impostato in uno strumento software chiamato Tactile Gym. Qui, può provare diversi compiti senza il rischio di rompere attrezzature costose. Impara a reagire in base al feedback ricevuto dai sensori tattili mentre esegue i compiti.
Una volta che il robot raggiunge un certo livello di prestazioni nella simulazione, trasferiamo questa conoscenza al sistema robotico reale. Questo processo è conosciuto come "sim-to-real" transfer, ed è essenziale per garantire che il robot possa performare bene in contesti reali.
Sperimentazione e Risultati
Nei nostri esperimenti, abbiamo testato quanto bene il sistema Bi-Touch potesse svolgere i tre compiti utilizzando vari oggetti di diverse forme, dimensioni e pesi. Per ogni compito, abbiamo misurato quanto accuratamente il robot poteva manipolare questi oggetti e quanto rapidamente poteva completare le attività.
Risultati di Bi-Pushing
Nel compito di bi-pushing, il robot ha dimostrato la sua abilità di muovere efficacemente diversi tipi di oggetti usando entrambe le braccia. Ha imparato con successo a spingere gli oggetti lungo un percorso predeterminato, raggiungendo un alto livello di precisione. I risultati hanno mostrato che il robot poteva seguire costantemente la traiettoria su cui era stato addestrato.
Risultati di Bi-Reorienting
Per il compito di bi-reorienting, il robot è stato in grado di ruotare vari oggetti mentre li manteneva in posizione. Ancora una volta, ha mostrato un alto tasso di precisione quando si trattava di riorientare gli oggetti a specifici angoli. Il robot ha utilizzato il suo feedback tattile per assicurarsi di non stringere o danneggiare gli oggetti mentre eseguiva il compito.
Risultati di Bi-Gathering
Nel compito di bi-gathering, il robot ha affrontato complessità maggiori a causa della necessità di aggiustare le sue azioni in base ai movimenti degli oggetti. Nonostante questo, è riuscito a raccogliere gli oggetti come previsto. Abbiamo incorporato un nuovo metodo che forniva al robot sotto-obiettivi, permettendogli di imparare meglio a gestire il compito quando la situazione si fermava o cambiava.
Discussione
Il sistema Bi-Touch si è dimostrato efficace nell'eseguire compiti che richiedono il tatto. La sua capacità di utilizzare sia feedback tattili che propriocettivi consente un approccio multidimensionale alla risoluzione dei problemi. Questo è particolarmente importante nelle applicazioni reali dove le condizioni possono cambiare rapidamente.
Man mano che sviluppiamo ulteriormente questo sistema, possiamo anche esplorare compiti aggiuntivi che richiedono manipolazioni più accurate. Attualmente, il robot è impostato per sollevare e manipolare oggetti senza la necessità di un tavolo su cui appoggiarsi, il che presenta una sfida entusiasmante.
Direzioni Future
Guardando avanti, ci sono molti modi per migliorare il sistema Bi-Touch. Ad esempio, potremmo potenziare i sensori tattili aggiungendo versioni più avanzate che possono misurare anche le forze di taglio. Questo potrebbe aprire nuove possibilità per compiti che richiedono un controllo più delicato.
Un'altra area di esplorazione è applicare il sistema Bi-Touch a compiti vari che richiedono precisione. Finora, abbiamo solo toccato la superficie con i nostri compiti. Nuove applicazioni potrebbero includere qualsiasi cosa, dall'automazione dei magazzini alla tecnologia assistiva per persone con sfide motorie.
Conclusione
In sintesi, il sistema Bi-Touch rappresenta un passo significativo nello sviluppo di sistemi robotici a due braccia che utilizzano il feedback tattile. Il framework di apprendimento e gli esperimenti hanno mostrato il potenziale dei robot di eseguire compiti complessi con alta precisione e adattabilità. Con la continua ricerca e sviluppo, puntiamo a migliorare ulteriormente questa tecnologia per rendere i robot ancora più capaci e versatili nei compiti che possono svolgere.
Titolo: Bi-Touch: Bimanual Tactile Manipulation with Sim-to-Real Deep Reinforcement Learning
Estratto: Bimanual manipulation with tactile feedback will be key to human-level robot dexterity. However, this topic is less explored than single-arm settings, partly due to the availability of suitable hardware along with the complexity of designing effective controllers for tasks with relatively large state-action spaces. Here we introduce a dual-arm tactile robotic system (Bi-Touch) based on the Tactile Gym 2.0 setup that integrates two affordable industrial-level robot arms with low-cost high-resolution tactile sensors (TacTips). We present a suite of bimanual manipulation tasks tailored towards tactile feedback: bi-pushing, bi-reorienting and bi-gathering. To learn effective policies, we introduce appropriate reward functions for these tasks and propose a novel goal-update mechanism with deep reinforcement learning. We also apply these policies to real-world settings with a tactile sim-to-real approach. Our analysis highlights and addresses some challenges met during the sim-to-real application, e.g. the learned policy tended to squeeze an object in the bi-reorienting task due to the sim-to-real gap. Finally, we demonstrate the generalizability and robustness of this system by experimenting with different unseen objects with applied perturbations in the real world. Code and videos are available at https://sites.google.com/view/bi-touch/.
Autori: Yijiong Lin, Alex Church, Max Yang, Haoran Li, John Lloyd, Dandan Zhang, Nathan F. Lepora
Ultimo aggiornamento: 2023-07-12 00:00:00
Lingua: English
URL di origine: https://arxiv.org/abs/2307.06423
Fonte PDF: https://arxiv.org/pdf/2307.06423
Licenza: https://creativecommons.org/licenses/by/4.0/
Modifiche: Questa sintesi è stata creata con l'assistenza di AI e potrebbe presentare delle imprecisioni. Per informazioni accurate, consultare i documenti originali collegati qui.
Si ringrazia arxiv per l'utilizzo della sua interoperabilità ad accesso aperto.
Link di riferimento
- https://en.wikibooks.org/wiki/LaTeX/Theorems
- https://tex.stackexchange.com/questions/94799/how-do-i-color-table-columns
- https://ctan.org/pkg/amssymb
- https://ctan.org/pkg/pifont
- https://ieeexplore.ieee.org
- https://sites.google.com/my.bristol.ac.uk/tactilegym2/home
- https://github.com/ac-93/tactile_gym
- https://sites.google.com/view/bi-touch/
- https://sites.google.com/my.bristol.ac.uk/tactilegym2