Despre Proiect

Intreprinderea coordonatoare (CITST) urmărește exploatarea nișei de piață reprezentată de persoanele vârstnice și emergentă platformelor robotice asistive. Dezvoltarea de produse inteligente, bazate pe tehnologia informației și comunicație (TIC), pentru această categorie a populației este puternic sprijinită de programul european Active and Assistive Living. Prin prezentul proiect, întreprinderea parteneră urmărește îmbunătățirea performanțelor unei platforme robotice astfel încât aceasta să poata fi adecvată utilizării în medii de tip AAL și integrării cu platformele de eHealth, domotica, existente la partenerul industrial dar și la producători comerciali. Se pleacă de la o platforma robotică dezvoltată in-house de către partenerul CITST prin modificări ale unei baze robotice comerciale. Controlul omnidirectioal al bazei modificate este dezvoltat în mod inovative în cadrul proiectului pentru aplicațiile țintă ale întreprinderii. Rezultatul principal este o platforma mobilă robotică capabilă să navigheze fără restricții într-o clădire putând trece peste denivelări de 1-2 trepte. Produsul va fi exploatat de CITST în contextul platformelor AAL dezvoltate anterior. Planul de afaceri prezentat în propunere demonstrează beneficiile evidente pentru întreprindere.

Finantare

Acest proiect este finantat in cadrul PNCDI III de catre Ministerul Educatiei si Cercetarii,
CCCDI - UEFISCDI, proiectul numarul PN-III-P2-2.1-PTE-2019-0867.


Rezultate

Implementare

ETAPA 1 (01.10.2020 – 31.12.2020)

Activitatea 1.1: In cadrul acestei activitati a fost proiectat piciorul robotic cu mecanism hibrid de deplasare care permite trecerea peste obstacole. Au fost selectate componentele mecanice precum si driverele aferente integrarii acestora. De asemenea, a fost selectata interfata de control pentru actionarea motoarelor. Pentru actionarea liniara va fi folosit un actuator de la Tolomatic (MXE-P 16) de tip surub cu bile. Pentru actionarea rotativa va fi folosit un design open-source de tip actionare cvasi-directa, design dezvoltat de catre MIT. Ca si sistem de operare va fi folosit ROS (Robotic Operating System).

Activitatea 1.2: Algoritmii de sinteză pentru traiectorii de referință bazați pe inversare de model (prin reprezentări plate) si parametrizare cu funcții B-spline a fost extins către funcții NURBS ce permit grade de libertate adiționale. Analiza s-a făcut din perspectiva păstrării unei complexități scăzute (prin metode de rafinare a nodurilor) și respectarea constrângerilor de poziție, viteză și orientare în spațiu. Algoritmii existenți, inclusiv cei utilizați în generarea figurilor anterioare sunt stocați în proiectul Gitlab.

Activitatea 1.3: In cadrul acestei activitati, scenele 3D necesare realizarii platformei robotice versatile pentru navigare in interiorul mediilor aglomerate si cu obstacole au fost concretizate prin modelul digital 3D. Obiectele modelarii 3D sunt elementele care delimiteaza spatiul respectiv (peretii), cele cu pozitie fixa (semineu, mobila bucatarie,...) şi obiectele mobile (mese, scaune, canapele,...). Tehnologiile uzuale de achizitie a informatiilor grafice necesare realizarii modelui 3D sunt reprezentate de tehnologia cu imagini RGB, cea a executarii masuratorilor directe (masuratori GNSS, statia totala, laser scanner, tehnologia LIDAR). Etapele de creare a scenelor 3D sunt inventarierea amplasamentului si realizarea schitei, efectuarea masuratorilor, realizarea releveului digital al amplasamentului si realizarea modelului 3D cu functii CAD/MASH.

Activitatea 1.4: Baza de date existentă pentru robotul de servicii Tiago, care cuprindea 1360 de semnale audio a fost extinsă prin achiziționarea a încă 1950 de sunete. Toate semnalele au fost înregistrate stereo, cu o acuratețe de 16 biți și o frecvență de eșantionare de 48 kHz. Streamul de date audio a fost înregistrat astfel încât să conțină doar o anumită clasă de evenimente sonore, care aparțin mediului indoor. Actualmente, baza de date conține 3300 de semnale audio (110 clase x 30 semnale/clasă).

Activitatea 1.5: In cadrul acestei activitati a fost realizata pagina de web.

Activitatea 1.6: In cadrul acestei activitati au fost elaborarate modelelor conceptuale de dezvoltare si validarea a planului de afaceri. Au fost considerate atat modelele care se bazeaza pe implicarea directa a clientilor vizati in fundamentarea ideilor de afaceri precum si modele care au la baza colectarea de date statistice folosind instrumente web. A fost de asemenea prezentat pe scurt si modelul de afaceri canvas.

Activitatea 1.7: In cadrul acestei activitati a fost efectuata o cercetare prealabila in baza de brevte europeana. Au fost selectate si prezentate ca rezumat brevetele identificate ca avand potential elemente comune cu dezvoltarile din cadrul OMNI-Z.

ETAPA 2 (01.01.2021 – 31.12.2021)

Activitatea 2.1: In cadrul acestei etape s-au realizat componentele mecanice si s-au integrarat cu cele electrice in platforma OMNI-Z. S-a realizat ansamblul mecanic (integrat împreună cu arhitectura electrică și de reglare/supervizare). Acesta este format din 4 sub-ansambluri dinamice fiecare fiind format dintr-o roată cauciucată și una omnidirecțională (fiecare cu un motor propriu). Această soluție a permis asigurarea orizontalității platformei la depășirea obstacolelor precum și comutarea în regim de deplasare omnidirectional, prin ridicarea roților simple, cauciucate.

Activitatea 2.2: In cadrul acestei activitati a fost dezvoltat softwareul necesar pentru a conecta noul hardware la ROS si au fost efectuate mai multe experimente in simulator. Pentru a decupla componenta hardware a proiectului (robotul omnidirectional) de cea algoritmică (planificare și evitare obstacole), singura soluție este realizarea unui model al robotului în simulare, ce poate fi utilizat pentru validarea și îmbunătățirea rutelor obținute.

Activitatea 2.3: Au fost imbunatatite metodele de analiză și recunoaștere a sunetelor. S-au testat caracteristicile MFCC, LPC, LPCC și MPEG-7 folosind diferite valori pentru coeficienții extrași (10:2:38, 64). De asemenea, s-au testat mai mulți clasificatori: NuSVC, SVM, kNN, GNB, DT, MLP, SGD, LDA și RF. S-au încercat toate combinațiile posibile date de numărul coeficienților extrași, caracteristicile utilizate și clasificatori. Concluzia la care s-a ajuns este că cele mai bune rezultate pentru identificarea semnalelor audio se obține folosind 34, respectiv 64 de caracateristici MFCC, în combinație cu kNN, SVM și, respectiv, LDA.

Activitatea 2.4: Am realizat dezvoltarea unei librarii care implementeaza un set minimal de mișcări. Folosind parametrizări cu funcții spline (B-spline sau NURBS) s-au implementat în librăriile MOVE-LIB și MOVE-PATH primitive pentru deplasarea într-un mediu cu obstacole. S-au considerat forme poliedrale predefinite, mediu închis modelat STL, puncte interes ce trebuie atinse la momente pre-specificate de timp.

Activitatea 2.5: Etapa de modelare a spațiilor de testare, a platformei robotice, a constat în continuarea realizării modelelor 3D pentru Holul 2, amfiteatrul A0 și în exportul acestor modele către formate compatibile cu simulatoarele robotice precum Gazebo. După modelare, fisierele, în formar dwg, au fost exportate în formate compatibile cu platformele de testare. Fisierele obtinute au fost convertite in formatul .dae acceptat de simulatorul Gazebo in vederea importarii in acest simulator pentru realizarea testelor folosind un model existent de robot.

Activitatea 2.6: Min-PC-ul integrat in platforma robotica este modelul Beelink SEI8 care dispune de un procesor Intel I5-8259U Coffee Lake de generatia a 8-a, o unitate de procesare grafica incorporata Intel UHD (Intel IRIS Plus) 16GB RAM DDR4 la frecventa de 2400MHz si un spatiu de stocare de 512GB de tip SSD. Conexiunea la retea este asigurata de o interfata Ethernet de 1000Mbps si WiFi 6. Pentru a porta algoritmii pe noua platforma, a fost instalat in prealabil software-ul Python versiunea 3.9.2. Pentru crearea unui mediu de lucru virtual si instalarea bibliotecilor necesare, au fost instalate executabilele “venv” si “pip”. Pentru implementarea algoritmilor de generare a unei traiectorii folosind functii spline s-a utilizat librăria CasaDi (https://web.casadi.org/) cât și în Python/C++ (util pentru etapa de utilizare propriu-zisă).

Activitatea 2.7: Pentru simularea scenei create, aceasta a fost importata in simulatorul Gazebo. Diferite obiecte de mobilier 3D au fost introduse in scena. In prima faza, testele au fost realizate folosind un model existent de robot – TurtleBot 3. Acesta a fost importat in scena astfel creata si au fost realizate simulari ale diferitelor traiectorii pentru robot in scena. În vederea simulării comportamentului platformei robotice, au fost integrate ROS și unelte auxiliare (Gazebo pentru vizualizare, Blender pentru prelucrarea hărților). Script-urile asociate sunt realizate în Python. Modelul 3D al sălii de muzeu a fost integrat în simulare utilizând formatul Collada fapt ce a permis redarea fidelă a suprafețelor interioare și exterioare. Modelul platformei OMNI-Z a fost importat in mediul creat.

Activitatea 2.8: In cadrul acestei etape au fost publicate 6 articole in conferinte si 4 articole de jurnal. Articolele adreseaza aspecte de recunoastere a semnalelor audio, traiectorii pentru ocolirea obstacolelor, identificare vizuala a obstacolelor, alimentarea cu energie, etc. De asemenea, pagina proiectului este menținută în limbile engleză și română la: www.citst.ro/projects/omni-z.

Activitatea 2.9: In cadrul acestei etape s-a continuat planul de afaceri inceput in etapa 1 prin completarea modelului Canvas cu notiuni specifice produsului OMNI-Z si prin identificarea si prezentarea platformelor robotice competitive. Planul de afaceri este incarcat ca un document separat in platforma de raportare.

Activitatea 2.10: In vederea identificarii elementelor brevetabile s-a efectuat o cercetare prealabila in baza de date a Oficiului American de brevete folosind cuvintele cheie utilizate in etapa anterioara pentru cautarile in baza europeana. S-a continuat cautarea in ambele baze de date cu noi notiuni care au dat rezultate scontate. Traducerea in limba romana a rezumatelor brevetelor selectate este prezentata in cadrul acestei activitati.

Diseminare

  • Lorena Muscar, Lăcrimioara Grama, “Audio Events Detection to Help TIAGo to Act as a Medical Robot,” 7th International Conference on Advancements of Medicine and Health Care through Technology, Cluj-Napoca, Romania, October 13-15, 2020, online (articol prezentat).
  • Toma Telembici, Lăcrimioara Grama, Corneliu Rusu, “Integrating Service Robots into Everyday Life Based on Audio Capabilities,” 14th International Symposium on Electronics and Telecommunications, Timisoara, Romania, November 5-6, 2020, online (articol prezentat).
  • Corneliu Rusu, Jaakko Astola, “About the positivity of trigonometric polynomials with positive samples,” 14th International Symposium on Electronics and Telecommunications, Timisoara, Romania, November 5-6, 2020, online (articol prezentat.
  • Elena-Mirela Stetco, Ovidiu Aurel Pop, Alin Grama, “Simulation Model of a GMR Based Current Sensor,” 26th International Symposium for Design and Technology in Electronic Packaging, Pitesti, Romania, October 21-24, 2020, online (articol prezentat).
  • Lăcrimioara Grama, Lorena Muscar, Corneliu Rusu, Toma Telembici, ”Audio Database for TIAGo Service Robot,” Carpathian Journal of Electronic and Computer Engineering, vol. 14, no.1, pp. 1-5, 2021, ISSN: 1844-9689, https://doi.org/10.2478/cjece-2021-0001.
  • Gabriel Popan, Lorena Muscar, Lăcrimioara Grama, ”Security System Aided by Voice Fingerprint,” Carpathian Journal of Electronic and Computer Engineering, vol. 14, no.1, pp. 24-29, 2021, ISSN: 1844-9689, https://doi.org/10.2478/cjece-2021-0005.
  • Horațiu Pop, Alin Grama, ”Increasing Energy Efficiency Using Photovoltaic Panels,” Carpathian Journal of Electronic and Computer Engineering, vol. 14, no.1, pp. 6-10, 2021, ISSN: 1844-9689, https://doi.org/10.2478/cjece-2021-0002.
  • Claudiu Popescu, Lăcrimioara Grama, Corneliu Rusu, ”A Highly Scalable Method for Extractive Text Summarization Using Convex Optimization,” Symmetry, vol. 13, no. 10: 1824, https://doi.org/10.3390/sym13101824.
  • Lăcrimioara Grama, Lorena Muscar, Corneliu Rusu, ”Sound Classification Algorithms for Indoor Human Activities,” 16th International Conference on Engineering of Modern Electric Systems (EMES), pp. 1-4, June 10-11, 2021, Oradea, Romania, ISBN: 978-1-6654-4995-3, https://doi.org/10.1109/EMES52337.2021.9484121.
  • Lorena Muscar, Lăcrimioara Grama, Corneliu Rusu, ”Sound Classification by the TIAGo Service Robot for Healthcare Applications,” International Symposium on Signals, Circuits and Systems (ISSCS), pp. 1-4, July 15-16, 2021, Iași, Romania, ISBN: 978-1-6654-4942-7, https://doi.org/10.1109/ISSCS52333.2021.9497410.
  • Olimpiu Pop, Corneliu Rusu, Lăcrimioara Grama, ”Acoustic monitoring of outdoor areas by a sensor consisting of four microphones,” International Symposium on Signals, Circuits and Systems (ISSCS), pp. 1-4, July 15-16, 2021, Iasi, Romania, ISBN: 978-1-6654-4942-7, https://doi.org/10.1109/ISSCS52333.2021.9497372.
  • Toma Telembici, Lăcrimioara Grama, Lorena Muscar, Corneliu Rusu, ”Results on the MFCC extraction for improving audio capabilities of TIAGo service robot,” 11th Conference on Speech Technology and Human-Computer Dialogue (SpeD), pp, Oct 13-15, 2021, Bucharest, Romania (articol prezentat).
  • Stoican Florin, Postolache Alexandru, Prodan Ionela, „NURBS-based trajectory design for motion planning in a multi-obstacle environment”, 2021 European Control Conference (ECC) June 29 - July 2, 2021. Rotterdam, Netherlands, pp. 2014-2019 (articol prezentat).
  • M. Dragoi, I.G. Mocanu, O. Cramariuc, Object Manipulation for Assistive Robots, IEEE International Conference on e-Health and Bioengineering EHB 2021 - 9-th Edition, 18-19 November 2021, Iasi, Romania (articol prezentat).