Sound-to-image translation through direct cross-modal learning: an exploratory and architectural study

Abstract

(English) Environmental sound conveys rich semantic and contextual information about events, objects, and spatial dynamics. However, prevailing computational approaches to environmental audio analysis, such as Acoustic Event Detection (AED), typically reduce this complexity to discrete textual labels. While effective for automated monitoring tasks, such representations oversimplify acoustic scenes and become inadequate when auditory information must be communicated across modalities. Sound-to-image (S2I) translation offers an alternative approach in which a model synthesizes images that visually depict sound-emitting sources and their surrounding environments. This thesis introduces and advances direct sound-to-image translation, a paradigm that establishes a connection between audio and visual modalities without relying on textual mediation, class supervision, or cluster-based alignment during training. The central hypothesis is that higher-level abstractions learned by deep neural networks provide a shared semantic space in which heterogeneous modalities can connect directly, enabling the generation of images that are interpretable and semantically coherent with the source sound. Such outputs are referred to as informative, meaning that they visually communicate meaningful aspects of the acoustic event. The first part of the thesis presents, to the best of our knowledge, the first study dedicated to direct S2I translation. A densely connected generative adversarial network (GAN), conditioned on audio embeddings, is developed to synthesize images directly from sound. Because multiple plausible images may correspond to a single acoustic event, translation quality cannot be evaluated through pixel-level reconstruction. To address this challenge, an informativity-based evaluation framework is proposed, employing classifiers to determine whether generated images are interpretable and semantically coherent with the source audio. Experiments reveal that, despite the inherent difficulty of the task, the model generalizes to unseen sounds and produces informative outputs for a meaningful portion of translations. Analysis further reveals that latent bottleneck dimensionality influences translation behavior, exposing a trade-off between pixel-space convergence and informativity. Building on this foundation, the second part investigates whether attention mechanisms can strengthen cross-modal alignment. Self-attention and cross-attention modules are integrated into the generator and evaluated across multiple configurations. Results show that attention improves translation performance when applied at early stages of the network, increasing informativity relative to the purely convolutional baseline while preserving the fully direct audio–visual connection. Together, these contributions formally define, validate, and extend direct S2I translation as a distinct research paradigm. Beyond architectural design and training strategies, this thesis advances methodological principles for quantitative evaluation of cross-modal translation in the absence of deterministic visual ground truth. The findings contribute to a broader understanding of multimodal representation learning and highlight the potential of direct S2I translation for applications in multimodal interaction and accessibility-oriented technologies, particularly for enhancing situational awareness in deaf and hard-of-hearing individuals. (Català) El so ambient transmet una rica informació semàntica i contextual sobre esdeveniments, objectes i dinàmiques espacials. Tanmateix, els enfocaments computacionals predominants per a l’anàlisi de l’àudio ambiental, com la Detecció d’Esdeveniments Acústics (Acoustic Event Detection, AED), solen reduir aquesta complexitat a etiquetes textuals discretes. Tot i que aquestes representacions són eficaces per a tasques de monitoratge automatitzat, simplifiquen excessivament les escenes acústiques i resulten insuficients quan la informació auditiva s’ha de comunicar entre diferents modalitats. La traducció de so a imatge (Sound-to-Image, S2I) ofereix un enfocament alternatiu en què un model sintetitza imatges que representen visualment les fonts emissores de so i els entorns que les envolten. Aquesta tesi introdueix i desenvolupa la traducció directa de so a imatge, un paradigma que estableix una connexió entre les modalitats auditiva i visual sense recórrer a mediació textual, supervisió per classes o alineament basat en clústers durant l’entrenament. La hipòtesi central és que les abstraccions d’alt nivell apreses per xarxes neuronals profundes proporcionen un espai semàntic compartit en què modalitats heterogènies poden connectar-se directament, permetent generar imatges que siguin interpretables i semànticament coherents amb el so d’origen. Aquestes sortides s’anomenen informatives, en el sentit que comuniquen visualment aspectes significatius de l’esdeveniment acústic. La primera part de la tesi presenta, fins on arriba el nostre coneixement, el primer estudi dedicat a la traducció directa S2I. Es desenvolupa una xarxa generativa antagònica (Generative Adversarial Network, GAN) densament connectada i condicionada mitjançant incrustacions d’àudio, amb l’objectiu de sintetitzar imatges directament a partir del so. Atès que múltiples imatges plausibles poden correspondre a un mateix esdeveniment acústic, la qualitat de la traducció no es pot avaluar mitjançant la reconstrucció a nivell de píxel. Per abordar aquest repte, es proposa un marc d’avaluació basat en la informativitat, que utilitza classificadors dedicats per determinar si les imatges generades són interpretables i semànticament coherents amb l’àudio d’origen. Els experiments revelen que, malgrat la dificultat inherent de la tasca, el model generalitza a sons no vistos i produeix sortides informatives en una proporció significativa de les traduccions. L’anàlisi també mostra que la dimensionalitat del coll d’ampolla latent influeix en el comportament de la traducció, revelant un compromís entre la convergència en l’espai de píxels i la informativitat. Sobre aquesta base, la segona part investiga si els mecanismes d’atenció poden reforçar l’alineament entre modalitats. Mòduls d’autoatenció i d’atenció creuada s’integren al generador i s’avaluen en múltiples configuracions. Els resultats mostren que l’atenció millora el rendiment de la traducció quan s’aplica en les primeres etapes de la xarxa, incrementant la informativitat en comparació amb la línia base purament convolucional, alhora que preserva la naturalesa plenament directa de la connexió àudio–visual. En conjunt, aquestes contribucions defineixen, validen i amplien formalment la traducció directa S2I com un paradigma de recerca diferenciat. Més enllà del disseny arquitectònic i de les estratègies d’entrenament, aquesta tesi avança principis metodològics per a l’avaluació quantitativa de la traducció entre modalitats en absència d’una veritat visual determinista. Els resultats contribueixen a una millor comprensió de l’aprenentatge de representacions multimodals i destaquen el potencial de la traducció directa S2I per a aplicacions en la interacció multimodal i en tecnologies orientades a l’accessibilitat, especialment per millorar la consciència situacional en persones sordes o amb pèrdua auditiva. (Español) El sonido ambiente transmite rica información semántica y contextual sobre eventos, objetos y dinámicas espaciales. Sin embargo, los enfoques computacionales predominantes para el análisis de audio ambiental, como la Detección de Eventos Acústicos (Acoustic Event Detection, AED), suelen reducir esta complejidad a etiquetas textuales discretas. Aunque estas representaciones son eficaces para tareas de monitorización automatizada, simplifican en exceso las escenas acústicas y resultan insuficientes cuando la información auditiva debe comunicarse entre diferentes modalidades. La traducción de sonido a imagen (Sound-to-Image, S2I) ofrece un enfoque alternativo en el que un modelo sintetiza imágenes que representan visualmente las fuentes emisoras de sonido y los entornos que las rodean. Esta tesis introduce y desarrolla la traducción directa de sonido a imagen, un paradigma que establece una conexión entre las modalidades auditiva y visual sin recurrir a mediación textual, supervisión por clases o alineamiento basado en clústeres durante el entrenamiento. La hipótesis central es que las abstracciones de alto nivel aprendidas por redes neuronales profundas proporcionan un espacio semántico compartido en el que modalidades heterogéneas pueden conectarse directamente, permitiendo generar imágenes que sean interpretables y semánticamente coherentes con el sonido de origen. A tales salidas se las denomina informativas, en el sentido de que comunican visualmente aspectos significativos del evento acústico. La primera parte de la tesis presenta, hasta donde alcanza nuestro conocimiento, el primer estudio dedicado a la traducción directa S2I. Se desarrolla una red generativa antagónica (Generative Adversarial Network, GAN) densamente conectada y condicionada mediante incrustaciones de audio, con el objetivo de sintetizar imágenes directamente a partir del sonido. Dado que múltiples imágenes plausibles pueden corresponder a un mismo evento acústico, la calidad de la traducción no puede evaluarse mediante reconstrucción a nivel de píxel. Para abordar este desafío, se propone un marco de evaluación basado en la informatividad, que emplea clasificadores dedicados para determinar si las imágenes generadas son interpretables y semánticamente coherentes con el audio de origen. Los experimentos revelan que, a pesar de la dificultad inherente de la tarea, el modelo generaliza a sonidos no vistos y produce salidas informativas en una proporción significativa de las traducciones. El análisis también muestra que la dimensionalidad del cuello de botella latente influye en el comportamiento de la traducción, revelando un compromiso entr