Reconocimiento Contextual de Gestos para la Toma de Decisiones

Abstract

Dentro del amplio rango de actividades humanas, los gestos realizados con las manos al in- teracuar con objetos del entorno ocupan un lugar importante en la vida cotidiana. As ?? que el disen ?o de sistemas automáticos que reconozcan de manera confiable tales gestos es un área de investiga- cio ?n relevante. Sin embargo, es au ?n más interesante saber qué hacer con los gestos reconocidos, ya que permite incorporar en los sistemas automáticos, aspectos como la toma de decisiones. En esta tesis, se propone un nuevo modelo computacional que integra técnicas de visio ?n computacional y teor ??a de decisiones con el fin de reconocer los gestos manipulativos realizados por una persona en escenarios conocidos y tomar acciones al respecto. Este modelo puede aplicarse en escenarios don- de sea necesario tomar decisiones inmediatas a partir de la observacio ?n visual del comportamiento humano, tales como: videoconferencias y apoyo a discapacitados. La adaptabilidad del modelo en diferentes escenarios se realiza con ligeras modificaciones. Para esto el sistema se estructura en dos mo ?dulos: i) Mo ?dulo de reconocimiento de gestos, el cual combina informacio ?n de movimiento y de contexto bajo un nuevo enfoque y, ii) Mo ?dulo para la toma de decisiones, el cual propone un nuevo esquema basado en redes de decisio ?n dinámica para tomar decisiones en problemas de decisio ?n de Markov parcialmente observables con un horizonte finito. El mo ?dulo de reconocimiento de gestos se basa en informacio ?n de movimiento (trayectorias del centroide de la mano) y de contexto (color y posicio ?n relativa de objetos) para entrenar modelos ocultos de Markov (HMMs) y representar los distintos gestos realizados en un escenario. La incorporacio ?n de informacio ?n contextual proporciona resultados experimentales de reconocimiento promedio de gestos que van desde 94% hasta 99,57% en distintos escenarios. Esto representa un incremento significativo en el proceso de reconocimiento de gestos comparado al resultado obtenido cuando no se integra el contexto. El mo ?dulo para la toma de decisiones utiliza una red de decisio ?n dinámica donde se maneja el aspecto de incertidumbre en los estados a través de una red bayesiana dinámica. La mejor alternativa se selecciona bajo el enfoque de máxima utilidad esperada. Para esto se consideran los posibles resultados de cada accio ?n a través de futuras etapas temporales y la creencia acerca del gesto más probable realizado por el usuario. Este modelo fué implementado en dos distintos escenarios para su evaluacio ?n: Videoconferencias y Apoyo a personas para completar tareas. La evaluacio ?n realizada en ambos escenarios fué subjetiva a través de una encuesta realizada a los usuarios potenciales. Los resultados experimentales obtenidos de la evaluacio ?n son satisfactorios, indicando que el rendimiento y eficiencia del modelo desarrollado resultan adecuados para aplicarse en diferentes ambientes reales.