Activitatea 1.1: In cadrul acestei activitati a fost proiectat piciorul robotic cu mecanism hibrid de deplasare care permite trecerea peste obstacole. Au fost selectate componentele mecanice precum si driverele aferente integrarii acestora. De asemenea, a fost selectata interfata de control pentru actionarea motoarelor. Pentru actionarea liniara va fi folosit un actuator de la Tolomatic (MXE-P 16) de tip surub cu bile. Pentru actionarea rotativa va fi folosit un design open-source de tip actionare cvasi-directa, design dezvoltat de catre MIT. Ca si sistem de operare va fi folosit ROS (Robotic Operating System).

Activitatea 1.2: Algoritmii de sinteză pentru traiectorii de referință bazați pe inversare de model (prin reprezentări plate) si parametrizare cu funcții B-spline a fost extins către funcții NURBS ce permit grade de libertate adiționale. Analiza s-a făcut din perspectiva păstrării unei complexități scăzute (prin metode de rafinare a nodurilor) și respectarea constrângerilor de poziție, viteză și orientare în spațiu. Algoritmii existenți, inclusiv cei utilizați în generarea figurilor anterioare sunt stocați în proiectul Gitlab.

Activitatea 1.3: In cadrul acestei activitati, scenele 3D necesare realizarii platformei robotice versatile pentru navigare in interiorul mediilor aglomerate si cu obstacole au fost concretizate prin modelul digital 3D. Obiectele modelarii 3D sunt elementele care delimiteaza spatiul respectiv (peretii), cele cu pozitie fixa (semineu, mobila bucatarie,...) şi obiectele mobile (mese, scaune, canapele,...). Tehnologiile uzuale de achizitie a informatiilor grafice necesare realizarii modelui 3D sunt reprezentate de tehnologia cu imagini RGB, cea a executarii masuratorilor directe (masuratori GNSS, statia totala, laser scanner, tehnologia LIDAR). Etapele de creare a scenelor 3D sunt inventarierea amplasamentului si realizarea schitei, efectuarea masuratorilor, realizarea releveului digital al amplasamentului si realizarea modelului 3D cu functii CAD/MASH.

Activitatea 1.4: Baza de date existentă pentru robotul de servicii Tiago, care cuprindea 1360 de semnale audio a fost extinsă prin achiziționarea a încă 1950 de sunete. Toate semnalele au fost înregistrate stereo, cu o acuratețe de 16 biți și o frecvență de eșantionare de 48 kHz. Streamul de date audio a fost înregistrat astfel încât să conțină doar o anumită clasă de evenimente sonore, care aparțin mediului indoor. Actualmente, baza de date conține 3300 de semnale audio (110 clase x 30 semnale/clasă).

Activitatea 1.5: In cadrul acestei activitati a fost realizata pagina de web.

Activitatea 1.6: In cadrul acestei activitati au fost elaborarate modelelor conceptuale de dezvoltare si validarea a planului de afaceri. Au fost considerate atat modelele care se bazeaza pe implicarea directa a clientilor vizati in fundamentarea ideilor de afaceri precum si modele care au la baza colectarea de date statistice folosind instrumente web. A fost de asemenea prezentat pe scurt si modelul de afaceri canvas.

Activitatea 1.7: In cadrul acestei activitati a fost efectuata o cercetare prealabila in baza de brevte europeana. Au fost selectate si prezentate ca rezumat brevetele identificate ca avand potential elemente comune cu dezvoltarile din cadrul OMNI-Z.

Activitatea 2.1: In cadrul acestei etape s-au realizat componentele mecanice si s-au integrarat cu cele electrice in platforma OMNI-Z. S-a realizat ansamblul mecanic (integrat împreună cu arhitectura electrică și de reglare/supervizare). Acesta este format din 4 sub-ansambluri dinamice fiecare fiind format dintr-o roată cauciucată și una omnidirecțională (fiecare cu un motor propriu). Această soluție a permis asigurarea orizontalității platformei la depășirea obstacolelor precum și comutarea în regim de deplasare omnidirectional, prin ridicarea roților simple, cauciucate.

Activitatea 2.2: In cadrul acestei activitati a fost dezvoltat softwareul necesar pentru a conecta noul hardware la ROS si au fost efectuate mai multe experimente in simulator. Pentru a decupla componenta hardware a proiectului (robotul omnidirectional) de cea algoritmică (planificare și evitare obstacole), singura soluție este realizarea unui model al robotului în simulare, ce poate fi utilizat pentru validarea și îmbunătățirea rutelor obținute.

Activitatea 2.3: Au fost imbunatatite metodele de analiză și recunoaștere a sunetelor. S-au testat caracteristicile MFCC, LPC, LPCC și MPEG-7 folosind diferite valori pentru coeficienții extrași (10:2:38, 64). De asemenea, s-au testat mai mulți clasificatori: NuSVC, SVM, kNN, GNB, DT, MLP, SGD, LDA și RF. S-au încercat toate combinațiile posibile date de numărul coeficienților extrași, caracteristicile utilizate și clasificatori. Concluzia la care s-a ajuns este că cele mai bune rezultate pentru identificarea semnalelor audio se obține folosind 34, respectiv 64 de caracateristici MFCC, în combinație cu kNN, SVM și, respectiv, LDA.

Activitatea 2.4: Am realizat dezvoltarea unei librarii care implementeaza un set minimal de mișcări. Folosind parametrizări cu funcții spline (B-spline sau NURBS) s-au implementat în librăriile MOVE-LIB și MOVE-PATH primitive pentru deplasarea într-un mediu cu obstacole. S-au considerat forme poliedrale predefinite, mediu închis modelat STL, puncte interes ce trebuie atinse la momente pre-specificate de timp.

Activitatea 2.5: Etapa de modelare a spațiilor de testare, a platformei robotice, a constat în continuarea realizării modelelor 3D pentru Holul 2, amfiteatrul A0 și în exportul acestor modele către formate compatibile cu simulatoarele robotice precum Gazebo. După modelare, fisierele, în formar dwg, au fost exportate în formate compatibile cu platformele de testare. Fisierele obtinute au fost convertite in formatul .dae acceptat de simulatorul Gazebo in vederea importarii in acest simulator pentru realizarea testelor folosind un model existent de robot.

Activitatea 2.6: Min-PC-ul integrat in platforma robotica este modelul Beelink SEI8 care dispune de un procesor Intel I5-8259U Coffee Lake de generatia a 8-a, o unitate de procesare grafica incorporata Intel UHD (Intel IRIS Plus) 16GB RAM DDR4 la frecventa de 2400MHz si un spatiu de stocare de 512GB de tip SSD. Conexiunea la retea este asigurata de o interfata Ethernet de 1000Mbps si WiFi 6. Pentru a porta algoritmii pe noua platforma, a fost instalat in prealabil software-ul Python versiunea 3.9.2. Pentru crearea unui mediu de lucru virtual si instalarea bibliotecilor necesare, au fost instalate executabilele “venv” si “pip”. Pentru implementarea algoritmilor de generare a unei traiectorii folosind functii spline s-a utilizat librăria CasaDi (https://web.casadi.org/) cât și în Python/C++ (util pentru etapa de utilizare propriu-zisă).

Activitatea 2.7: Pentru simularea scenei create, aceasta a fost importata in simulatorul Gazebo. Diferite obiecte de mobilier 3D au fost introduse in scena. In prima faza, testele au fost realizate folosind un model existent de robot – TurtleBot 3. Acesta a fost importat in scena astfel creata si au fost realizate simulari ale diferitelor traiectorii pentru robot in scena. În vederea simulării comportamentului platformei robotice, au fost integrate ROS și unelte auxiliare (Gazebo pentru vizualizare, Blender pentru prelucrarea hărților). Script-urile asociate sunt realizate în Python. Modelul 3D al sălii de muzeu a fost integrat în simulare utilizând formatul Collada fapt ce a permis redarea fidelă a suprafețelor interioare și exterioare. Modelul platformei OMNI-Z a fost importat in mediul creat.

Activitatea 2.8: In cadrul acestei etape au fost publicate 6 articole in conferinte si 4 articole de jurnal. Articolele adreseaza aspecte de recunoastere a semnalelor audio, traiectorii pentru ocolirea obstacolelor, identificare vizuala a obstacolelor, alimentarea cu energie, etc. De asemenea, pagina proiectului este menținută în limbile engleză și română la: www.citst.ro/projects/omni-z.

Activitatea 2.9: In cadrul acestei etape s-a continuat planul de afaceri inceput in etapa 1 prin completarea modelului Canvas cu notiuni specifice produsului OMNI-Z si prin identificarea si prezentarea platformelor robotice competitive. Planul de afaceri este incarcat ca un document separat in platforma de raportare.

Activitatea 2.10: In vederea identificarii elementelor brevetabile s-a efectuat o cercetare prealabila in baza de date a Oficiului American de brevete folosind cuvintele cheie utilizate in etapa anterioara pentru cautarile in baza europeana. S-a continuat cautarea in ambele baze de date cu noi notiuni care au dat rezultate scontate. Traducerea in limba romana a rezumatelor brevetelor selectate este prezentata in cadrul acestei activitati.

Activitatea 3.1 - Dezvoltarea software-ului minimal pentru controlul manual al platformei cu ajutorul unui joy-stick: In cadrul acestei etapa s-a prezentat funcționalitatea robotului ce permite de a fi comandat prin intermediul unei aplicații de telefon prin Bluetooth ca o telecomanda sau joy-stick. Arhitectura are la baza 3 microcontrolere in configurație de client ce realizarea reglarea vitezei roților pe baza unei referințe primite de la un microcontroler supervizor ce anualizează datele primite prin Bluetooth si gestionează comportamentul robotului.

Activitatea 3.2 - Planificarea mișcării în spațiul 3D: Planificarea mișcării în spațiul 3D se bazează pe utilizarea de funcții B-spline ale căror puncte de control (ponderi) asociate sunt definite în acest spațiu. Utilizarea de funcții spline permite definirea unei traiectorii de referință ce respectă atât constrângeri de poziție (obstacole și regiuni ce trebuie ocolite) cât și constrângeri asupra comenzii dar și minimizări ale costului (de obicei se minimizează energia traiectoriei). Am analizat de asemenea metode pentru reducerea timpului de calcul în timpul rulării (metoda „explicit MPC”, exploatând proprietățile geometrice ale legii de comandă aferente).

Activitatea 3.3 - Îmbunătățirea metodelor de analiză și recunoaștere a sunetelor (Final): Unul dintre modulele care alcătuiesc platforma robotică este modulul audio. Acesta este utilizat pentru a identifica evenimentele acustice care pot apărea într-un mediu indoor și poate lua anumite decizii pe baza acestora. Pentru a identifica evenimentul acustic se utilizează în conjuncție șase modele de clasificare. Decizia finală se ia pe baza rezultatului predominant. Pentru cele șase modele individuale, în faza de testare, acuratețea identificării evenimentului corect este: 99.091%, 98.939%, 99.697%, 99.545%, 97.576% și, respectiv, 98.333%. Decizia finală de identificare a evenimentului acustic luându-se pe baza rezultatului predominant crește acurateței individuale.

Activitatea 3.4 - Integrarea modulului de detecție și recunoaștere a sunetelor cu un generator de task-uri: În funcție de tipul de eveniment detectat, OMNI-Z alege task-ul adecvat. Dacă evenimentul detectat corespunde unei acțiuni normale, cum ar fi mutarea unui scaun, deschiderea sau închiderea unei uși, solicitarea unui act de identitate, utilizarea mașinii de spălat sau a cuptorului cu microunde etc., task-ul generat este de a trimite un email de notificare către persoana responsabilă cu monitorizarea permanentă, de la distanță, a locuinței unde se află OMNI-Z. Pe de altă parte, dacă evenimentul detectat este unul potențial alarmant, cum ar fi o tuse puternică care evidențiază potențiala înecare a persoanei, solicitarea unor tipuri specifice de medicamente etc., task-ul generat este de a trimite un email de alertă atât către persoana care trebuie să intervină în astfel de cazuri cât și către persoana care monitorizează, de la distanță, în permanență locuința.

Activitatea 3.5 - Validare în condiții experimentale - DEMO: Platforma a demonstrat următoarele funcționalități (ilustrate prin experiment în cadrul activităților aferente „DEMO Iași” desfășurate în intervalul 15-16 septembrie): poate intra/ieși dintr-un lift și poate să treacă peste pragurile de ușă fără restricții; este capabila să planifice/urmărească o traiectorie în mod eficient și cu garanții de siguranță. Structura modulară îi permite să integreze diverse module de localizare; poate trece peste denivelări ale pardoselii.

Prezentare succinta a proiectului OMNI-Z: Un consorțiu format dintr-un IMM si trei universități de prestigiu din Romania au realizat in cadrul proiectului OMNI-Z o platforma robotica robotica accesibila economic, modulara, extensibila si cu capabilități adaptate navigării la interior. Navigarea la interior este asigurata de omnidirectionalitatea mecanismului de locomoție care ii permite manevre intr-un spațiu restrâns (ex., rotirea practic pe loc) precum si capacitatea de a naviga printre obstacole evitându-le si de a le depăși trecând peste praguri, adâncituri, pante, etc.

Platforma OMNI-Z se dorește a fi folosita atât ca produse de sine stătător cat si integrata cu senzori si dispozitive asistive. Clienții țintă ai unui astfel de produs sunt instituțiile pentru vârstnici, spitalele dar, nu departe in viitor, utilizatorii individuali. Produsele proiectului, inclusiv software si baze de date, vor putea fi exploatate atât comercial cat si in scopuri științifice pentru promovarea dezvoltării robotice in Romania.

Imaginile de mai jos prezinta platforma OMNI-Z in mediul de validare si testare.

Activitatea 3.6 - Diseminarea rezultatelor.