Geintra

En este trabajo se ha diseñado, implementado y evaluado un sistema de seguimiento de locutor usando fusión audiovisual. La información de audio y vídeo es obtenida a partir de arrays de micrófonos y cámaras de vídeo situados en el entorno. El sistema está compuesto por dos bloques que extraen información de audio y vídeo y esta información es mezclada en un plano de ocupación, paralelo y a una altura ``h'' del suelo. Un filtro de partículas modela la dinámica de dicha mezcla, obteniendose finalmente la localización estimada del locutor en cada instante de tiempo. Como bloque de audio se implementa un algoritmo de detección de actividad acústica por sectores (volúmenes cónicos alrededor de cada array). Posteriormente, se busca en el interior de las intersecciones de los sectores activos de todos los arrays y el plano de ocupación, la región de máxima potencia acústica, usando el algoritmo Steered Response Power. El bloque de visión detecta rostros humanos en las imágenes de las cámaras de video, con una versión multi-pose del algoritmo Viola and Jones. Las proyecciones de dichas detecciones sobre el plano de ocupación, son combinadas con operadociones lógicas. El sistema fue evaluado usando la base de datos AV16.3.