Tesis doctoral en pre-procesamiento de eventos visuales del sensor neuromórfico DVS

Contexto: 

El diseño neuromórfico está revolucionando las arquitecturas (von Neumann) de procesamiento, que han permanecido con pocos cambios destacables por décadas. Uno de los objetivos que persigue la tecnología neuromórfica es ejecutar algoritmos AI de manera mucho más eficiente (en términos de energía y recursos) en dispositivos IoT miniaturizados, permitiendo que la AI sea omnipresente, de acuerdo con la visión AIoT. En IKERLAN hemos conseguido posicionarnos en este ecosistema, desde una perspectiva de investigación, a través del proyecto coordinado NimbleAI.

El objetivo de esta tesis es el diseño e implementación de nuevos algoritmos de pre-procesamiento de eventos visuales entregados por sensores de imagen neuromórficos DVS (Dynamic Vision Sensors) considerando su evolución en el tiempo y espacio, destinados a la implementación near-sensor digital y eficiente. En particular, los algoritmos de preprocesamiento eliminarán el ruido no deseado (ej., eventos producidos en superficies texturizadas) y condensarán la información visual de la forma más eficiente posible para simplificar las etapas de procesamiento posteriores. Esto incluye: (1) ajustar el umbral en el sensor DVS para regular dinámicamente la generación de eventos y alcanzar el compromiso más efectivo entre precisión y carga computacional en cada situación; (2) agrupar eventos cercanos en el tiempo y/o espacio (ej., en bordes de objetos) para facilitar/hacer más eficiente el procesamiento, y (3) aplicar algoritmos de atención visual para identificar regiones de interés (que pueden ser acompañados de adaptaciones funcionales en la lógica in-sensor – e.g., foveación digital). Se tomará como fuente de inspiración los procesos de atención bottom-down y top-bottom que el cerebro implementa y que permiten economizar el consumo de energía y uso de recursos computacionales. Los algoritmos de pre-procesamiento tratarán de ser genéricos e independientes de la aplicación (bottom-up), si bien se considerarán las implicaciones que el procesamiento dependiente de la aplicación (top-down) pueda tener en la etapa de pre-procesado. De hecho, el objetivo será tratar el problema de sensing [esta tesis] y processing (oferta de tesis: pincha aquí) de manera holística, fomentando la colaboración continua entre ambos doctorandos. La tesis considerará los últimos avances en integración 3D de silicio, que posibilitará el acceso dedicado a regiones del sensor desde las capas de procesamiento, evitando así el bottleneck von Neumann existente en las arquitecturas sensing-processing convencionales. De manera no central, la tesis estudiará mecanismos de adaptación de sensores DVS a sistemas/algoritmos de procesamiento de imagen convencionales (basados en frames y con interfaz de acceso única), como los que utilizan nuestros clientes.  

El candidato al doctorado se inscribirá en la Universidad de Sevilla, bajo la supervisión del Prof. Bernabé Linares-Barranco (http://www2.imse-cnm.csic.es/~bernabe/), y realizará estancias en la empresa Prophesee (https://www.prophesee.ai/).