DIRSIM
Año : 2023
DirSim (Director Simulator) es un ecosistema integral de control y visualización musical. DirSim permite a un usuario dirigir una orquesta virtual utilizando gestos de sus manos en tiempo real. El sistema integra seguimiento biométrico por visión computacional, conversión dinámica de protocolos (MIDI a OSC) y retroalimentación visual inmersiva para una experiencia de conducción musical total.
Tecnologías usadas:
- Python
- Processing - P5.js
- MIDI
Arquitectura del sistema
DirSim no es un solo programa, sino una red de tres módulos independientes comunicándose en tiempo real. Inicialmente se hace la extracción de los datos del movimiento físico de las manos, capturados en video y eventualmente traducido a coordenadas espaciales. Seguido a esto, se hace la traducción de protocolos, con un servidor puente que recibe las señales y las rutea hacia Reaper, una estación de trabajo de audio digital (DWA). Finalmente, se hace la renderización de las señales procesadas que activan los estímulos visuales sincronizados con el motor de audio.
Controlador
Desarrollado en Python, utiliza Machine Learning (cvzone) para el seguimiento de manos múltiple. Extrae puntos clave (landmarks) de las manos para calcular el BPM a través de dos algoritmos: Hand Speed Mode y Pattern Mode. Cuenta con una interfaz gráfica en PyQt5 y envía comandos de reproducción vía Open Sound Control (OSC). También incluye un sistema de «Dual Slider» controlado por la posición de los dedos.
Puerto
Actúa como el software intermedieaario del sistema. Utilizando python-rtmidi y python-osc, este módulo intercepta los mensajes de hardware MIDI entrantes y los empaqueta en formato OSC. Su interfaz dinámica permite reconfigurar sobre la marcha los puertos del servidor y el enrutamiento hacia Reaper, asegurando un flujo de datos sin pérdida de paquetes.
Visualizador
El motor de renderizado construido en Processing. Genera una representación geométrica de una disposición orquestal clásica. Escucha activamente el flujo de datos y reacciona iluminando las familias de instrumentos (Cuerdas, Maderas, Metales, Percusión) con una intensidad proporcional a la velocidad (Velocity) del evento musical, creando un entorno inmersivo responsivo.