Sony va lansa primul senzor Intelligent Vision cu funcționalitate de procesare AI

Sony Corporation a anunțat că va lansa două noi modele de senzori Intelligent Vision, primii senzori de imagine din lume care vor oferi funcționalitate de procesare AI(cu inteligență artificială). Implementarea acestei tehnologii chiar în construcția senzorului permite procesare AI de mare viteză și extragerea datelor necesare, lucru care, în utilizarea serviciilor cloud, reduce latența în momentul transmiterii datelor, rezolvă problemele legate de securitatea acestora și reduce consumul de energie și costurile comunicaționale.

Noile produse extind oportunitățile pentru dezvoltarea camerelor cu inteligență artificială, oferind o gamă largă de aplicații practice în industria de retail dar și în cea a echipamentelor industriale și contribuind la construirea unor sisteme optime conectate la cloud.

Răspândirea pe scară largă a IoT a condus la conectarea în cloud a multor tipuri de device-uri, transformând sistemele de procesare a informației într-o metodă din ce în ce mai răspândită, datele fiind procesate în cloud, cu ajutorul inteligenței artificiale. De cealaltă parte, volumul tot mai mare de informații gestionate în cloud ridică o serie de probleme: o latență crescută a transmiterii datelor care îngreunează procesul de procesare în timp real, îngrijorări legate de securitate din partea utilizatorilor care stochează în cloud date personale identificabile și alte probleme precum creșterea consumului de energie și costurile comunicaționale pe care le implică aceste servicii.

Noii senzori Sony au o configurație stratificată, alcătuită dintr-un cip fotosensibil și un cip logic. Aceștia sunt primii senzori de imagine din lume care vor fi echipați cu funcționalități de analiză și procesare prin inteligența artificială pe cipul logic. Semnalul obținut de cipul fotosensibil este procesat cu ajutorul inteligenței artificiale, eliminând nevoia unui procesor de înaltă performanță sau a memoriei externe și permițând astfel dezvoltarea de sisteme edge AI. Senzorul procesează metadate (informații semantice proprii datelor imaginii), în locul informațiilor de imagine propriu-zise, reducând astfel volumul de date și rezolvând problemele legate de securitate. Mai mult, capabilitățile de inteligență artificială fac posibilă furnizarea de funcționalități diverse pentru aplicații versatile, precum urmărirea în timp real a obiectelor, cu procesare AI de mare viteză. De asemenea, diferitele modele AI pot fi selectate prin rescrierea memoriei interne în conformitate cu cerințele utilizatorului sau cu cerințele locației în care este utilizat sistemul.

Principalele caracteristici

Primul senzor de imagine din lume echipat cu tehnologia de procesare AI

Cipul fotosensibil are iluminare din spate și o capacitate efectivă de aproximativ 12.3 megapixeli pentru captarea informației corespunzătoare unghi larg de vizualizare. În plus față de circuitul convențional de funcționare a unui senzor de imagine, cipul logic este echipat cu tehnologia originală Sony DSP (Digital Signal Processor), dedicată procesării semnalului AI și memoriei modelelor AI. Această configurație elimină necesitatea procesoarelor de înaltă performanță sau a memoriei externe, lucru care îl transformă în senzorul perfect pentru sistemele edge AI.

Procesare a metadatelor

Semnalele captate prin intermediul cipului fotosensibil sunt filtrate de Procesorul de semnal de imagine-ISP (Image Signal Processor) iar procesarea cu ajutorul inteligenței artificiale este făcută în cadrul procesului care are loc în unitatea cipului logic, furnizând informații sub formă de metadate, reducând astfel cantitatea de date gestionate. Asigurarea faptului că nu sunt procesate informații proprii imaginii ajută la reducerea riscurilor legate de securitate și rezolvă problemele legate de intimitatea utilizatorului. În plus față de imaginea înregistrată de senzorul de imagine convențional, utilizatorii pot selecta formatul de procesare a datelor care se potrivește nevoilor lor de folosire, inclusiv format ISPP (YUV/RBG) sau ROI (Region of Interest), zone specifice ale imaginii.

Procesare AI de mare viteză

Atunci când un clip video este înregistrat prin folosirea unui senzor de imagine convențional, este necesară trimiterea datelor fiecărui cadru individual pentru procesare prin inteligență artificială, rezultând astfel un flux mare de date și făcând dificilă livrarea de performanță în timp real. Noii senzori Sony realizează procesare ISP și procesare de mare viteză prin intermediul inteligenței artificiale (3.1 milisecunde de procesare pentru MobileNet V1) pe cipul logic, realizând întregul proces într-un singur frame video. De asemenea, design-ul permite livrarea unei urmăriri de înaltă precizie și în timp real a obiectelor în timpul înregistrării video.

 Model AI personalizabil

Cu noii senzori Sony, utilizatori pot personaliza modelele AI așa cum își doresc și le pot rescrie și actualiza potrivit necesităților proprii sau condițiilor mediului în care utilizează sistemul. De exemplu, atunci când mai multe camere care încorporează acest sistem sunt instalate într-o locație de retail, un singur tip de cameră poate fi utilizat în diferite zone, circumstanțe, momente ale zilei sau în scopuri distincte. Atunci când este instalată la intrarea într-un spațiu poate fi folosită pentru a ține evidența numărului de vizitatori care au trecut pragul locului respectiv; atunci când este amplasată pe raftul unui magazin poate fi utilizată pentru a detecta stocurile insuficiente; când este poziționată pe tavan, camera poate fi utilă pentru heat mapping (evaluarea zonelor de interes ale magazinului, detectând locurile care prezintă mai mult interes pentru vizitatori și tind să fie aglomerate). Mai mult, modelul AI al unei camere date poate fi rescris, trecând cu ușurință de la un produs utilizat pentru maparea zonelor de interes la unul dedicat identificării comportamentului consumatorilor și așa mai departe.

Source: sony

Photo/video source: sony