INTRODUCCIÓN A LA “TRASLACIÓN AVIA”
EN LA MÚSICA VISUAL

Dr. Emilio Mendoza
Universidad Simón Bolívar, Caracas
Gastkünstler, ZKM - Zentrum für Kunst und Medientechnologie, Karlsruhe
emiliomen@gmail.com

Este artículo se presentó en el I Congreso de Estética "Vértices y aristas del arte contemporáneo", Universidad Nacional de Mar del Plata, el CONICET (Consejo Nacional de Investigación científica y tecnológica) y la Universidad Nacional de Lanús, 22 al 24 de octubre del 2009 en Mar del Plata, Argentina. Publicación del artículo en las actas del congreso (Mar del Plata, 2009,  ISBN: 978-987-25450-0-0)

Resumen
Se presenta un recuento analítico del desarrollo de los intentos históricos en Occidente de enlazar la música con una estructura visual correspondiente, incluyendo teorías, instrumentos, tecnologías, emulación de anomalías perceptivas como la sinestesia y la psicodelia, creaciones musicales, artistas plásticos, cineastas y video-artistas, así como la industria del entretenimiento. Se decanta el concepto que atraviesa el desarrollo del arte musical y visual, tanto still o en movimiento, por diferentes estilos y cientos de años, como un arquetipo de desafío perenne e irrealizable desde los griegos hasta nuestros días, para lograr la duplicidad perceptiva por ambos canales sensoriales de la misma expresión artística. Debido al alcance reciente de la tecnología digital y acceso generalizado, además del hábito de consumo audiovisual establecido en nuestra sociedad, se ha generado una producción en el arte audiovisual con una gama de variados formatos. Aunado al florecimiento de la comunicación a través de la pantalla sonora que ha inundado actualmente nuestras vidas, se concentra todo este desarrollo centenario en el ápice de expresión estética en la música visual, donde la percepción sonora y visual tratan de compartir la misma estructura temporal. Despoés de un breve análisis de recientes logros se reflexiona sobre las desviaciones efectuadas en las tentativas pasadas y en un subgrupo de la música visual, su proyecto de “Traslación AVIA” (Audiovisual Integrated Art), donde se determinan los fundamentos para la traslación precisa de música a imágenes en movimiento, en función de afinar el conocimiento de la interrelación perceptiva entre estas dos disciplinas.
 
Introducción

La percepción simultánea de una organización de eventos en el tiempo a través de sonidos e imágenes se ha llegado a conocer últimamente como Música Visual. Es una expresión que se enmarca dentro del arte audiovisual, y a pesar de que la conexión entre música e imagen ha suscitado un desafío constante en la cultura occidental desde los griegos hasta nuestros días por lograr la integración cercana de estos dos dominios sensoriales, es solamente hasta nuestros días digitales que este arte ha llegado a un estado de madurez. Dentro de las múltiples variantes de la producción en el campo audiovisual, donde la imagen, sea still o en movimiento, puede ser acompañada por sonidos y música, existe un área especial cuya intención es lograr la percepción idéntica de las estructuras musicales a través del sentido visual. Dentro de este campo de Música Visual, se desarrolla desde el 2007 un proyecto denominado “Traslación AVIA” (AudioVisual Integrated Art), auspiciado por la Universidad Simón Bolívar, Caracas, y el ZKM (Zentrum für Kunst und Medientechnologie), Karlsruhe. Se investiga la interconexión efectiva y directa de estructuras temporales a través de los elementos de ambos dominios y sus comportamientos perceptivos, para obtener un conocimiento más profundo de cómo funcionan.

Música Visual

Quizás por el estado efímero, inasible de la música, que desaparece apenas se percibe el sonido, y depende exclusivamente de la memoria sonora para poder entenderse, es decir, como un pensamiento fugaz, florece la necesidad de verla, de que se convierta en un objeto visible. Igualmente, el atractivo de este procedimiento puede residir en el supuesto doblamiento del poder expresivo para lograr, según Scriabin, que “…la mente o alma humana pueda ser levantada fuera o encima de las sensaciones simplemente físicas hacia la región puramente de éxtasis abstracto y especulación intelectual.” (Runciman, 149). Por definición, la música es exclusivamente un arte temporal, cuando lo visual ha sido siempre hasta estos últimos cien años, un arte estático y espacial. Debido a este hecho, los intentos para conseguir la duplicidad perceptiva por ambos canales sensoriales de la misma estructura temporal han sido dirigidos en su mayoría desde la música hacia lo visual y no en la dirección contraria. Se le otorga irrevocablemente a la música el conocimiento y dominio del tiempo como privilegio original. Los mundos del tiempo y el espacio no se entrecruzan, pero si se lograran fusionar podrían “…inducir una sensación de trascendencia –la respuesta “poética”–...” (Mattis, 213).

La relación entre lo auditivo y visual se establece naturalmente en la producción del sonido a través de instrumentos, ya que la imagen que se percibe está ligada a la generación de la música en el instante que se realiza. La información visual es un componente muy importante de la comunicación en el acto musical, la cual es usualmente ignorada como elemento básico de la música aunque no lo es obviamente del sonido. Igualmente, existe una relación perceptible en la interpretación espacial de la música con objetos en simple movimiento, un tren por ejemplo, o en expresiones complejas de movimiento como la danza, si coexisten en la misma línea temporal cuando suena la música y se ven los objetos. Están atados a la misma línea de tiempo al ser percibidos y las relaciones temporales existen ya con el sólo movimiento del objeto. La coincidencia rítmica entre lo visual en movimiento y la música es la relación más directa y común entre ambos campos, y la que ha existido en la mayoría de las expresiones conjuntas, desde la danza, cine, al videoarte, entre muchas más. Igualmente, la asociación perceptiva de un sonido al lugar de donde se emite, establece la relación espacial de la aparición del sonido y su imagen de localidad. Resumiendo, nuestra percepción ha tenido un enlace acostumbrado entre el sonido y lo visual para ritmo y espacio.

Luego que Pitágoras descubriera la relación matemática entre la altura y la longitud del cuerpo sonoro que la produce, Aristóteles y sus estudiantes trataron de encontrar la relación matemática entre altura y color, así como otros filósofos incluyendo a Platón (van Campen, 45). No es sino hasta finales del siglo 16 que el primer experimento por el artista milanés Arcimboldo trata de probar esta supuesta correspondencia con tiras de papel pintados de colores en su gravicembalo. Por cientos de años la tecnología no respondió con suficiencia a las necesidades de querer ver lo que sonaba. La serie de máquinas que convertían la música a luces de colores, para albergarse en circos y espectacularidades, trataban de ilustrar en tiempo real al tocarse, las múltiples teorías de la relación principalmente entre colores y notas musicales. Desde mediados del siglo 18 con Beltrand Castel, y luego Kastner y Bishop en el siglo 19, inventores producen una serie de instrumentos sofisticados pero de lento desarrollo tecnológico: papelitos para verse con la luz de velas, bombillos de colores a gas y eléctricos, logrando en manos de Rimington a la vuelta de siglo un órgano que producía sólo luces, tocado a tiempo real como si fuera música (van Campen, 46-50). Estos sistemas se desarrollan en los 1930 y logran un arte visual con movimiento de importancia cuando ya el cine de celuloide y la animación se asientan como la mejor alternativa y el medio idóneo para lograr el devenir visual en el tiempo y permitir su entrada en el mundo del arte temporal.

La analogía de términos entre ambos campos, como textura, color, brillo, cromatismo, etc., encaminó la búsqueda de la integración audiovisual a través del enlace entre notas definidas y colores visuales. Similarmente, la proposición teórica de Newton a principios del siglo 17, influyó en la conducción del camino de la búsqueda hacia la relación nota/color. Newton realizó la analogía del espectro de la luz dividido en colores con la distribución de notas en la octava, utilizando el principio del  mismo tono y sus octavas en relación de dos o mitad para las frecuencias, y se desarrollaron un aserie de teorías y máquinas  a partir de este principio para relacionar la luz de los colores con las frecuencias de las notas (van Campen, 46).

Las descripciones verbales de artistas sinestésicos, especialmente compositores a principios del siglo 20 en adelante, como también pintores de la misma época en plena evolución hacia la abstracción, enlazan notas, acordes así como tonalidades a colores específicos.  Artistas del grupo Die Blaue Reiter, Kandinsky, Mondrian, Klee, así como Picabia, Delaunay, Hartley,Valensi, Kupka, Baranoff-Rossiné, Russell, Macdonald-Wright, Matiushin, O'Keeffe y Dove y por otro lado Hirschfeld-Mack exponiendo en la Bauhaus sus Reflektorischen Farbenlichtspiele, fueron los artistas de principios de siglo 20 que se entremezclaron en las dos formas en mutua actividad y surtido de soluciones a la necesidad de atrapar la abstracción y efectuar el cambio de lenguaje en ambos campos que acontecía indeteniblemente. La fuente de inspiración que ofrecía un mundo sensorial al otro funcionó dentro de un sistema fructífero de apropiación y desarrollo por influencia de conceptos externos. Igualmente, la sugestión rítmica y armónica se encuentra en múltiples pinturas de Mondrian (como Victory Boogie-Woogie) y Klee (Neue Harmonie), en tentativas de insertar la cuarta dimensión, el tiempo, a su arte estático (Düchting, 48) o desarrollar conceptos musicales atemporales, como la armonía de un acorde con colores: “…[en] Neue Harmonie, Klee ideó un marco arquitectónico para acordes de colores tan matemáticamente riguroso como la notación musical…” (Zilczer, 25). El enfoque de atención de estos tiempos en la expresión audiovisual pudo haber sido estimulada por cambios tecnológicos sensoriales, como el bombillo eléctrico, el cine a partir de los hermanos Lumière en 1885, publicaciones de investigaciones sobre la sinestesia por Galton, en 1883), el cambio de siglo y las rupturas de códigos tradicionales del lenguaje del arte que llevó a búsquedas de conceptos externos y diferentes como nuevas expresiones. Por ejemplo, la concentración en el elemento rítmico en las primeras décadas del siglo 20, desde La Consagración de la Primavera de Stravinsky, obras de Bártok, Orff, de los nacionalistas latinoamericanos, así como la influencia de la música  afro-americana directa o indirectamente como en Gershwin, Joplin y del jazz, resaltan la necesidad de construir un lenguaje visual en el tiempo, y el ritmo ofrecía la atracción, como explicamos arriba, por su vínculo natural a lo visual.

Al comparar los resultados de las teorías por tres siglos que relacionan notas musicales con colores, se aprecia “… la naturaleza desorganizada de la analogía altura-color…” (Mattis, 213). Como la lógica indescifrable de los sueños, lo que perciben los sinestésicos no necesariamente se puede desembocar en un arte audiovisual expresivo y entendible, a pesar de que “Asociaciones de color-sonido son también una forma común de sinestesia, aunque ocurran predominantemente entre músicos…” (Robertson y Sagiv, 37).

Este período fue dominado por compositores enfocados a enlazar lo visual con sus obras musicales o usarlo como inspiración, como Scriabin quien realiza Prometheus (1910), para probar sus teorías con música para orquesta, coro sin palabras y tastiera per luce o chromola, pero su muerte no le permitió presenciar su estreno en 1915 (van Campen, 53; Mattis, 219). Schönberg, compositor así como pintor dedicado, propone su concepto de Klangfarbenmelodie y compone Farben para mostrar las relaciones de color y armonía (Mattis, 220), en su obra Cinco Piezas para Orquesta, op. 16 (1919). Similarmente lo acompañan Varèse, Gershwin, Messiaen, Ciurlionis, Bliss, entre otros. La influencia del desarrollo del cine y la animación, como de los avances en la música electrónica y la utilidad en la industria del espectáculo, hace que Messiaen ejecute su Fête des belles eaux en la Feria Mundial de París, 1937, con luces en fuentes de agua y Ondes Martenot. Igualmente, Varèse realiza en conjunto con el arquitecto y diseñador Le Corbusier su multimedia Poème électronique para la Feria Mundial de Bruselas en 1958. De alguna manera, en los comienzos de la Música Visual ésta consiguió receptividad así como en siglos pasados, en los espectáculos masivos y cirquenses, como luego sucede con las producciones audiovisuales de Son et Lumiere en sitios turísticos y los salvadores de pantallas o visualización musical del Media Player o iTunes. La atracción poderosa que ejerce en la percepción se utiliza como exotismo que prevalece hasta que, por los medios digitales de hoy, la pantalla sonora, cúspide del medio audiovisual, envuelva completamente nuestro mundo de comunicación y diversión.

En las primeras décadas del siglo 20 existió una producción de artistas experimentales y abstractos que avanzaron en la producción de visuales en movimiento a través del cine, la animación y maquinaria inventada que influyeron a los compositores que entendían de música pero no de la parte visual en movimiento. Richter, Eggelin y Ruttmann, centrados en Berlín, así como Fischinger, quien trabajando en Hollywood, produjo en parte el largo-metraje Fantasía de Disney en 1940, (Brougher, 100), MacLaren, Greenewalt, Klein, Wilfred, László y Bentham, (Mattis, 219; Zilczer, 76), Lye, Hirsh, Smith pintando directamente en el celuloide, y más tarde a finales de los cincuenta y principios de los sesenta los hermanos Whitney, Brakhage y Belson con tecnología propia. El desarrollo se basó en artistas visuales-temporales por primera vez a diferencia de los compositores sinestésicos de principios de siglo. El “cine cósmico” de los hermanos Whitney (Brougher, 145), así como los conciertos de Vortex de Belson, sirvieron de antesala con su trascendencia filosófica, la mezcla de arte y entretenimiento, pintura y cine, al desarrollo en los sesenta y setenta del show de luces psicodélico que acompañaba cada concierto de rock y eventualmente se filtró su influencia en la estética visual generalizada o “hippie” en términos de moda de burbujas, gérmenes, “tie-dye” y colores brillantes y ornamentos exóticos orientales, originándose en la sinestesia inducida artificialmente por las drogas alucinógenas de la psicodelia en los setenta que invadió al mundo del consumo masivo por esta nueva industria musical.

Vínculos entre música y arte visual se desarrollaron paralelamente a través de la representación visual de música en la grafía estática de la notación en partitura. Esta fue cambiando de su forma tradicional simbólica a representaciones gráficas diversas en manos de Cage, Kagel, Feldman, Stockhausen, entre otros en los cincuenta y sesenta. La partitura cruzaba la línea entre notación y arte gráfico. Xenakis desarrolló el vínculo con el espacio y la arquitectura e igualmente, el arte visual utilizó símbolos musicales e instrumentos, como el caso del “intermedia” TV-Cello de Nam June Paik con monitores de video y Charlotte Moorman al cello. (Bosseur, 139).

Con el desarrollo de la capacidad de edición de video en la computadora, cada vez más accesible y poderosa, se logra en el presente un manejo audiovisual sin precedentes en toda la historia de este arte. Ya el vínculo sonido-imagen se masifica con el nacimiento del video-clip y la promoción visual de la música con los Beatles a mediados de los sesenta y su producción obligada de cortos y películas de largo metraje, y el establecimiento de un canal de televisión para el consumo de música, el MTV en 1981. Nuestra vida globalizada desde los noventa se forma y sobrevive con la conexión global del Internet, que a medida que se desarrolla la comunicación digital y se facilita la transmisión de archivos de sonido primero (“revolución mp3”) y luego de video, se abre el mundo al consumo masivo del video y del video-música en línea con el fenómeno del portal YouTube desde el 2005. Podríamos especular que a partir de la difusión de música a través de la radio a principios del siglo 20, que inició la escucha de la música separada de su fuente y locación original, su percepción se tornó en una actividad "ciega," carente de su contraparte visual natural o imaginaria. En el caso del concierto de música electrónica, al no haber instrumentistas reales o imaginarios, esta ausencia que sólo es posible remplazarla con una imaginación creativa, se torna en una experiencia poco atractiva. El video musical y el boom del portal YouTube ha significado el fin de la era de la música ciega y no se aceptará más música  sin su componente visual. La producción del enlace música-visuales se dirige hacia otros territorios no conocidos como la producción de “diseño sonoro” ejemplarizado en la película de animación digital de Disney/Pixar Wall-E del 2008.

En perspectiva, podemos reflexionar que la búsqueda por cientos de años para lograr la integración de la música con lo visual en movimiento simplemente tenía que esperar el desarrollo tecnológico audiovisual de hoy para poder realizarla y el desarrollo social acompañante para estar vinculada a su estética: Simultáneamente, nuestras vidas y comportamiento social han cambiado radicalmente con este mismo desarrollo, con el cual nos hemos convertidos en seres con una prótesis de pantalla con audífonos. Nuestras vidas se centran en el monitor, sea para el trabajo, comunicación o diversión, donde el espacio geográfico desaparece y no importa dónde estemos si estamos conectados. En tal sentido, la Música Visual se abre un espacio y posición como la reina de las expresiones artísticas actuales, la hija de nuestros tiempos. Sin descalificar cualquier variedad de expresión audiovisual, la Música Visual nos puede dar el resultado final de la búsqueda aún vigente de la integración de las artes.

La producción reciente de los artistas analizados se debate entre un lenguaje figurativo, abstracto o mezcla de ambos, con sus transformaciones visuales. La mayoría trabaja en equipo, el compositor con el artista visual, y cuando se ejecuta en tiempo real, se convierte en el Video-Jockey. Sus lenguajes presentan cuatro modos, en analogía al desarrollo del arte visual de principios del siglo XX, de figurativo a la abastracción: imágenes reconocibles como objetos reales (videos comunes), imágenes reconocibles de objetos sintetizados o en hiper-realidad (Larson, Discord: metal and meat, 2006), imágenes de figuras geométricas (Jentzsch/Polcin, Kyoto Bells, 1994/2006), imágenes reconocibles como objetos reales y su transformación hacia la abstracción, (Justel, Destellos, 2001), y finalmente imágenes completamente abstractas e indefinibles (Battey, Autarkeia Aggregatum, 2005; Ishii, Ryum, 2008).

Traslación AVIA
Para entenderla y manejarla, hemos diseñado el proyecto de “Traslación AVIA” en el cual estudiamos de cerca el comportamiento perceptivo de cada elemento y sus propiedades en la transformación sonora a imagen en movimiento. Ambos vehículos sensoriales deben hacer entender al perceptor la comprensión de la forma y su estructura, el entendimiento del ente, del objeto intangible que se desliza en el tiempo, y nos imprime su ser, su presencia completa en la memoria. Se reconfigura en los últimos años a las posibilidades tecnológicas digitales y su preocupación es mayoritariamente asuntos técnicos de software. A pesar de la histórica concentración en lograr el vínculo entre la nota musical y un color visual, se trabaja enfocado al vínculo rítmico y espacial en primer lugar, determinando aspectos musicales o visuales que no son trasladables. La estrategia asumida es de componer la música de acuerdo a la configuración de la Traslación AVIA resultante, para poder efectuar la traslación fiel de ciertos elementos a la vez.

Para los resultados preliminares del proyecto, se da referencia al artículo “Fundamentals of Music Composition for AVIA Translation”, presentado en el 2º International Symposium on Systems Research in the Arts and Humanities, julio 24-30, 2008, en Baden-Baden, Alemania. Está publicado en las actas de dicho congreso así como en el web del autor.
 
Referencias
Bosseur, J-Y. Sound and the Visual Arts. París: Dis Voir, 1993.

Brougher, K., Mattis, O., Strick, J., Wiseman, A. and J. Zilczer. Visual Music: Synaesthesia in Art and Music since 1900. New York: Thames & Hudson, 2005.

Cytowic, R. E. Synesthesia: A Union of the Senses 2 edition. Cambridge, Mass.: The MIT Press, 2002.
DeWitt, T. “Visual Music: Searching for an Aesthetic.” Leonardo 20 (115-122), 1987.
Düchting, H. Paul Klee  Malerei und Musik. Munich: Prestel, 2001.
Evans, B. “Foundations of a visual music.” Computer Music Journal 29 (11-24), 2005.
Faulkner/D-Fuse, M., ed. VJ: Audio-Visual Art and VJ Culture. London: Lawrence King Ltd., 2006.
Martin, S. Videoarte. Köln: Taschen, 2006.
Mendoza, E. Fundamentals of Music Composition for AVIA Translation. System Research in the Arts and Humanities Symposium Proceedings – Vol. II. Canada: The International Institute for Advanced Studies in Systems Research and Cybernetics: 55-61, 2008.
Peacock, K. “Instruments to perform color-music: Two centuries of technological experimentation.” Leonardo 21 (397-406), 1988.
Robertson, L. y N. Sagiv, eds. Synesthesia, Perspectives from Congnitive Neuroscience. Oxford: Oxford University Press, 2005.
Rudi, J. “Computer music video: A composer’s perspective.” Computer Music Journal 29 (36-44), 2005.
Runciman, J. F. “Noises, Smell and Colours.” The Musical Quaterly 1, Nº 2 (abril 1915): 149-61. (Trad. E. Mendoza).
van Campen, C.. The Hidden Sense. Synesthesia in art and Science. Cambridge, Mass.: The MIT Press, 2008. (Trad. E. Mendoza).
Vernallis, C. Experiencing Music Video: Aesthetics and Cultural Context. Nueva York: Columbia University Press, 2004.