INTRODUCCIÓN A LA “TRASLACIÓN
AVIA”
EN LA MÚSICA VISUAL
Dr. Emilio Mendoza
Universidad Simón Bolívar, Caracas
Gastkünstler, ZKM - Zentrum für Kunst und Medientechnologie,
Karlsruhe
emiliomen@gmail.com
Este
artículo se presentó en el I Congreso de Estética
"Vértices y aristas del arte contemporáneo", Universidad
Nacional de Mar del Plata, el CONICET (Consejo Nacional de
Investigación científica y tecnológica) y la Universidad
Nacional de Lanús, 22 al 24 de octubre del 2009 en Mar del
Plata, Argentina. Publicación del artículo en las actas
del congreso (Mar del Plata, 2009, ISBN:
978-987-25450-0-0)
Resumen
Se presenta un recuento analítico del
desarrollo de los intentos históricos en Occidente de
enlazar la música con una estructura visual correspondiente,
incluyendo teorías, instrumentos, tecnologías, emulación de
anomalías perceptivas como la sinestesia y la psicodelia,
creaciones musicales, artistas plásticos, cineastas y
video-artistas, así como la industria del entretenimiento.
Se decanta el concepto que atraviesa el desarrollo del arte
musical y visual, tanto still o en movimiento, por
diferentes estilos y cientos de años, como un arquetipo de
desafío perenne e irrealizable desde los griegos hasta
nuestros días, para lograr la duplicidad perceptiva por
ambos canales sensoriales de la misma expresión artística.
Debido al alcance reciente de la tecnología digital y acceso
generalizado, además del hábito de consumo audiovisual
establecido en nuestra sociedad, se ha generado una
producción en el arte audiovisual con una gama de variados
formatos. Aunado al florecimiento de la comunicación a
través de la pantalla sonora que ha inundado actualmente
nuestras vidas, se concentra todo este desarrollo centenario
en el ápice de expresión estética en la música visual, donde
la percepción sonora y visual tratan de compartir la misma
estructura temporal. Despoés de un breve análisis de
recientes logros se reflexiona sobre las desviaciones
efectuadas en las tentativas pasadas y en un subgrupo de la
música visual, su proyecto de “Traslación AVIA” (Audiovisual
Integrated Art), donde se determinan los fundamentos para la
traslación precisa de música a imágenes en movimiento, en
función de afinar el conocimiento de la interrelación
perceptiva entre estas dos disciplinas.
Introducción
La
percepción simultánea de una organización de eventos en el
tiempo a través de sonidos e imágenes se ha llegado a conocer
últimamente como Música Visual. Es una expresión que se
enmarca dentro del arte audiovisual, y a pesar de que la
conexión entre música e imagen ha suscitado un desafío
constante en la cultura occidental desde los griegos hasta
nuestros días por lograr la integración cercana de estos dos
dominios sensoriales, es solamente hasta nuestros días
digitales que este arte ha llegado a un estado de madurez.
Dentro de las múltiples variantes de la producción en el campo
audiovisual, donde la imagen, sea still o en movimiento, puede
ser acompañada por sonidos y música, existe un área especial
cuya intención es lograr la percepción idéntica de las
estructuras musicales a través del sentido visual. Dentro de
este campo de Música Visual, se desarrolla desde el 2007 un
proyecto denominado “Traslación AVIA” (AudioVisual Integrated Art),
auspiciado por la Universidad Simón Bolívar, Caracas, y el ZKM
(Zentrum für Kunst und Medientechnologie), Karlsruhe. Se
investiga la interconexión efectiva y directa de estructuras
temporales a través de los elementos de ambos dominios y sus
comportamientos perceptivos, para obtener un conocimiento más
profundo de cómo funcionan.
Música Visual
Quizás
por el estado efímero, inasible de la música, que desaparece
apenas se percibe el sonido, y depende exclusivamente de la
memoria sonora para poder entenderse, es decir, como un
pensamiento fugaz, florece la necesidad de verla, de que se
convierta en un objeto visible. Igualmente, el atractivo de
este procedimiento puede residir en el supuesto doblamiento
del poder expresivo para lograr, según Scriabin, que “…la
mente o alma humana pueda ser levantada fuera o encima de las
sensaciones simplemente físicas hacia la región puramente de
éxtasis abstracto y especulación intelectual.” (Runciman,
149). Por definición, la música es exclusivamente un arte
temporal, cuando lo visual ha sido siempre hasta estos últimos
cien años, un arte estático y espacial. Debido a este hecho,
los intentos para conseguir la duplicidad perceptiva por ambos
canales sensoriales de la misma estructura temporal han sido
dirigidos en su mayoría desde la música hacia lo visual y no
en la dirección contraria. Se le otorga irrevocablemente a la
música el conocimiento y dominio del tiempo como privilegio
original. Los mundos del tiempo y el espacio no se
entrecruzan, pero si se lograran fusionar podrían “…inducir
una sensación de trascendencia –la respuesta “poética”–...”
(Mattis, 213).
La relación entre lo auditivo y visual se establece
naturalmente en la producción del sonido a través de
instrumentos, ya que la imagen que se percibe está ligada a la
generación de la música en el instante que se realiza. La
información visual es un componente muy importante de la
comunicación en el acto musical, la cual es usualmente
ignorada como elemento básico de la música aunque no lo es
obviamente del sonido. Igualmente, existe una relación
perceptible en la interpretación espacial de la música con
objetos en simple movimiento, un tren por ejemplo, o en
expresiones complejas de movimiento como la danza, si
coexisten en la misma línea temporal cuando suena la música y
se ven los objetos. Están atados a la misma línea de tiempo al
ser percibidos y las relaciones temporales existen ya con el
sólo movimiento del objeto. La coincidencia rítmica entre lo
visual en movimiento y la música es la relación más directa y
común entre ambos campos, y la que ha existido en la mayoría
de las expresiones conjuntas, desde la danza, cine, al
videoarte, entre muchas más. Igualmente, la asociación
perceptiva de un sonido al lugar de donde se emite, establece
la relación espacial de la aparición del sonido y su imagen de
localidad. Resumiendo, nuestra percepción ha tenido un enlace
acostumbrado entre el sonido y lo visual para ritmo y espacio.
Luego que Pitágoras descubriera la relación matemática entre
la altura y la longitud del cuerpo sonoro que la produce,
Aristóteles y sus estudiantes trataron de encontrar la
relación matemática entre altura y color, así como otros
filósofos incluyendo a Platón (van Campen, 45). No es sino
hasta finales del siglo 16 que el primer experimento por el
artista milanés Arcimboldo trata de probar esta supuesta
correspondencia con tiras de papel pintados de colores en su
gravicembalo. Por cientos de años la tecnología no respondió
con suficiencia a las necesidades de querer ver lo que sonaba.
La serie de máquinas que convertían la música a luces de
colores, para albergarse en circos y espectacularidades,
trataban de ilustrar en tiempo real al tocarse, las múltiples
teorías de la relación principalmente entre colores y notas
musicales. Desde mediados del siglo 18 con Beltrand Castel, y
luego Kastner y Bishop en el siglo 19, inventores producen una
serie de instrumentos sofisticados pero de lento desarrollo
tecnológico: papelitos para verse con la luz de velas,
bombillos de colores a gas y eléctricos, logrando en manos de
Rimington a la vuelta de siglo un órgano que producía sólo
luces, tocado a tiempo real como si fuera música (van Campen,
46-50). Estos sistemas se desarrollan en los 1930 y logran un
arte visual con movimiento de importancia cuando ya el cine de
celuloide y la animación se asientan como la mejor alternativa
y el medio idóneo para lograr el devenir visual en el tiempo y
permitir su entrada en el mundo del arte temporal.
La analogía de términos entre ambos campos, como textura,
color, brillo, cromatismo, etc., encaminó la búsqueda de la
integración audiovisual a través del enlace entre notas
definidas y colores visuales. Similarmente, la proposición
teórica de Newton a principios del siglo 17, influyó en la
conducción del camino de la búsqueda hacia la relación
nota/color. Newton realizó la analogía del espectro de la luz
dividido en colores con la distribución de notas en la octava,
utilizando el principio del mismo tono y sus octavas en
relación de dos o mitad para las frecuencias, y se
desarrollaron un aserie de teorías y máquinas a partir
de este principio para relacionar la luz de los colores con
las frecuencias de las notas (van Campen, 46).
Las descripciones verbales de artistas sinestésicos,
especialmente compositores a principios del siglo 20 en
adelante, como también pintores de la misma época en plena
evolución hacia la abstracción, enlazan notas, acordes así
como tonalidades a colores específicos. Artistas del
grupo Die Blaue Reiter,
Kandinsky, Mondrian, Klee, así como Picabia, Delaunay,
Hartley,Valensi, Kupka, Baranoff-Rossiné, Russell,
Macdonald-Wright, Matiushin, O'Keeffe y Dove y por otro lado
Hirschfeld-Mack exponiendo en la Bauhaus sus Reflektorischen
Farbenlichtspiele, fueron los artistas de principios
de siglo 20 que se entremezclaron en las dos formas en mutua
actividad y surtido de soluciones a la necesidad de atrapar la
abstracción y efectuar el cambio de lenguaje en ambos campos
que acontecía indeteniblemente. La fuente de inspiración que
ofrecía un mundo sensorial al otro funcionó dentro de un
sistema fructífero de apropiación y desarrollo por influencia
de conceptos externos. Igualmente, la sugestión rítmica y
armónica se encuentra en múltiples pinturas de Mondrian (como
Victory Boogie-Woogie)
y Klee (Neue Harmonie),
en tentativas de insertar la cuarta dimensión, el tiempo, a su
arte estático (Düchting, 48) o desarrollar conceptos musicales
atemporales, como la armonía de un acorde con colores: “…[en]
Neue Harmonie, Klee
ideó un marco arquitectónico para acordes de colores tan
matemáticamente riguroso como la notación musical…” (Zilczer,
25). El enfoque de atención de estos tiempos en la expresión
audiovisual pudo haber sido estimulada por cambios
tecnológicos sensoriales, como el bombillo eléctrico, el cine
a partir de los hermanos Lumière en 1885, publicaciones de
investigaciones sobre la sinestesia por Galton, en 1883), el
cambio de siglo y las rupturas de códigos tradicionales del
lenguaje del arte que llevó a búsquedas de conceptos externos
y diferentes como nuevas expresiones. Por ejemplo, la
concentración en el elemento rítmico en las primeras décadas
del siglo 20, desde La
Consagración de la Primavera de Stravinsky, obras de
Bártok, Orff, de los nacionalistas latinoamericanos, así como
la influencia de la música afro-americana directa o
indirectamente como en Gershwin, Joplin y del jazz, resaltan
la necesidad de construir un lenguaje visual en el tiempo, y
el ritmo ofrecía la atracción, como explicamos arriba, por su
vínculo natural a lo visual.
Al comparar los resultados de las teorías por tres siglos que
relacionan notas musicales con colores, se aprecia “… la
naturaleza desorganizada de la analogía altura-color…”
(Mattis, 213). Como la lógica indescifrable de los sueños, lo
que perciben los sinestésicos no necesariamente se puede
desembocar en un arte audiovisual expresivo y entendible, a
pesar de que “Asociaciones de color-sonido son también una
forma común de sinestesia, aunque ocurran predominantemente
entre músicos…” (Robertson y Sagiv, 37).
Este período fue dominado por compositores enfocados a enlazar
lo visual con sus obras musicales o usarlo como inspiración,
como Scriabin quien realiza Prometheus
(1910), para probar sus teorías con música para orquesta, coro
sin palabras y tastiera per luce o chromola, pero su muerte no
le permitió presenciar su estreno en 1915 (van Campen, 53;
Mattis, 219). Schönberg, compositor así como pintor dedicado,
propone su concepto de Klangfarbenmelodie
y compone Farben
para mostrar las relaciones de color y armonía (Mattis, 220),
en su obra Cinco Piezas
para Orquesta, op. 16 (1919). Similarmente lo
acompañan Varèse, Gershwin, Messiaen, Ciurlionis, Bliss, entre
otros. La influencia del desarrollo del cine y la animación,
como de los avances en la música electrónica y la utilidad en
la industria del espectáculo, hace que Messiaen ejecute su Fête des belles eaux en
la Feria Mundial de París, 1937, con luces en fuentes de agua
y Ondes Martenot. Igualmente, Varèse realiza en conjunto con
el arquitecto y diseñador Le Corbusier su multimedia Poème électronique para
la Feria Mundial de Bruselas en 1958. De alguna manera, en los
comienzos de la Música Visual ésta consiguió receptividad así
como en siglos pasados, en los espectáculos masivos y
cirquenses, como luego sucede con las producciones
audiovisuales de Son et Lumiere en sitios turísticos y los
salvadores de pantallas o visualización musical del Media
Player o iTunes. La atracción poderosa que ejerce en la
percepción se utiliza como exotismo que prevalece hasta que,
por los medios digitales de hoy, la pantalla sonora, cúspide
del medio audiovisual, envuelva completamente nuestro mundo de
comunicación y diversión.
En las primeras décadas del siglo 20 existió una producción de
artistas experimentales y abstractos que avanzaron en la
producción de visuales en movimiento a través del cine, la
animación y maquinaria inventada que influyeron a los
compositores que entendían de música pero no de la parte
visual en movimiento. Richter, Eggelin y Ruttmann, centrados
en Berlín, así como Fischinger, quien trabajando en Hollywood,
produjo en parte el largo-metraje Fantasía de Disney en 1940, (Brougher, 100),
MacLaren, Greenewalt, Klein, Wilfred, László y Bentham,
(Mattis, 219; Zilczer, 76), Lye, Hirsh, Smith pintando
directamente en el celuloide, y más tarde a finales de los
cincuenta y principios de los sesenta los hermanos Whitney,
Brakhage y Belson con tecnología propia. El desarrollo se basó
en artistas visuales-temporales por primera vez a diferencia
de los compositores sinestésicos de principios de siglo. El
“cine cósmico” de los hermanos Whitney (Brougher, 145), así
como los conciertos de Vortex de Belson, sirvieron de antesala
con su trascendencia filosófica, la mezcla de arte y
entretenimiento, pintura y cine, al desarrollo en los sesenta
y setenta del show de luces psicodélico que acompañaba cada
concierto de rock y eventualmente se filtró su influencia en
la estética visual generalizada o “hippie” en términos de moda
de burbujas, gérmenes, “tie-dye”
y colores brillantes y ornamentos exóticos orientales,
originándose en la sinestesia inducida artificialmente por las
drogas alucinógenas de la psicodelia en los setenta que
invadió al mundo del consumo masivo por esta nueva industria
musical.
Vínculos entre música y arte visual se desarrollaron
paralelamente a través de la representación visual de música
en la grafía estática de la notación en partitura. Esta fue
cambiando de su forma tradicional simbólica a representaciones
gráficas diversas en manos de Cage, Kagel, Feldman,
Stockhausen, entre otros en los cincuenta y sesenta. La
partitura cruzaba la línea entre notación y arte gráfico.
Xenakis desarrolló el vínculo con el espacio y la arquitectura
e igualmente, el arte visual utilizó símbolos musicales e
instrumentos, como el caso del “intermedia” TV-Cello de Nam June Paik
con monitores de video y Charlotte Moorman al cello. (Bosseur,
139).
Con el desarrollo de la capacidad de edición de video en la
computadora, cada vez más accesible y poderosa, se logra en el
presente un manejo audiovisual sin precedentes en toda la
historia de este arte. Ya el vínculo sonido-imagen se masifica
con el nacimiento del video-clip y la promoción visual de la
música con los Beatles a mediados de los sesenta y su
producción obligada de cortos y películas de largo metraje, y
el establecimiento de un canal de televisión para el consumo
de música, el MTV en 1981. Nuestra vida globalizada desde los
noventa se forma y sobrevive con la conexión global del
Internet, que a medida que se desarrolla la comunicación
digital y se facilita la transmisión de archivos de sonido
primero (“revolución mp3”) y luego de video, se abre el mundo
al consumo masivo del video y del video-música en línea con el
fenómeno del portal YouTube
desde el 2005. Podríamos especular que a partir de la difusión
de música a través de la radio a principios del siglo 20, que
inició la escucha de la música separada de su fuente y
locación original, su percepción se tornó en una actividad
"ciega," carente de su contraparte visual natural o
imaginaria. En el caso del concierto de música electrónica, al
no haber instrumentistas reales o imaginarios, esta ausencia
que sólo es posible remplazarla con una imaginación creativa,
se torna en una experiencia poco atractiva. El video musical y
el boom del portal YouTube
ha significado el fin de la era de la música ciega y no se
aceptará más música sin su componente visual. La
producción del enlace música-visuales se dirige hacia otros
territorios no conocidos como la producción de “diseño sonoro”
ejemplarizado en la película de animación digital de
Disney/Pixar Wall-E
del 2008.
En perspectiva, podemos reflexionar que la búsqueda por
cientos de años para lograr la integración de la música con lo
visual en movimiento simplemente tenía que esperar el
desarrollo tecnológico audiovisual de hoy para poder
realizarla y el desarrollo social acompañante para estar
vinculada a su estética: Simultáneamente, nuestras vidas y
comportamiento social han cambiado radicalmente con este mismo
desarrollo, con el cual nos hemos convertidos en seres con una
prótesis de pantalla con audífonos. Nuestras vidas se centran
en el monitor, sea para el trabajo, comunicación o diversión,
donde el espacio geográfico desaparece y no importa dónde
estemos si estamos conectados. En tal sentido, la Música
Visual se abre un espacio y posición como la reina de las
expresiones artísticas actuales, la hija de nuestros tiempos.
Sin descalificar cualquier variedad de expresión audiovisual,
la Música Visual nos puede dar el resultado final de la
búsqueda aún vigente de la integración de las artes.
La producción reciente de los artistas analizados se debate
entre un lenguaje figurativo, abstracto o mezcla de ambos, con
sus transformaciones visuales. La mayoría trabaja en equipo,
el compositor con el artista visual, y cuando se ejecuta en
tiempo real, se convierte en el Video-Jockey. Sus lenguajes
presentan cuatro modos, en analogía al desarrollo del arte
visual de principios del siglo XX, de figurativo a la
abastracción: imágenes reconocibles como objetos reales
(videos comunes), imágenes reconocibles de objetos
sintetizados o en hiper-realidad (Larson, Discord: metal and meat,
2006), imágenes de figuras geométricas (Jentzsch/Polcin, Kyoto Bells, 1994/2006),
imágenes reconocibles como objetos reales y su transformación
hacia la abstracción, (Justel, Destellos, 2001), y finalmente imágenes
completamente abstractas e indefinibles (Battey, Autarkeia Aggregatum,
2005; Ishii, Ryum,
2008).
Traslación AVIA
Para
entenderla y manejarla, hemos diseñado el proyecto de
“Traslación AVIA” en el cual estudiamos de cerca el
comportamiento perceptivo de cada elemento y sus propiedades
en la transformación sonora a imagen en movimiento. Ambos
vehículos sensoriales deben hacer entender al perceptor la
comprensión de la forma y su estructura, el entendimiento del
ente, del objeto intangible que se desliza en el tiempo, y nos
imprime su ser, su presencia completa en la memoria. Se
reconfigura en los últimos años a las posibilidades
tecnológicas digitales y su preocupación es mayoritariamente
asuntos técnicos de software. A pesar de la histórica
concentración en lograr el vínculo entre la nota musical y un
color visual, se trabaja enfocado al vínculo rítmico y
espacial en primer lugar, determinando aspectos musicales o
visuales que no son trasladables. La estrategia asumida es de
componer la música de acuerdo a la configuración de la
Traslación AVIA resultante, para poder efectuar la traslación
fiel de ciertos elementos a la vez.
Para los resultados preliminares del proyecto, se da
referencia al artículo “Fundamentals of Music Composition for
AVIA Translation”, presentado en el 2º International
Symposium on Systems Research in the Arts and Humanities,
julio 24-30, 2008, en Baden-Baden, Alemania. Está publicado en
las actas de dicho congreso así como en el web del autor.
Referencias
Bosseur, J-Y. Sound and the
Visual Arts. París: Dis Voir, 1993.
Brougher,
K., Mattis, O., Strick, J., Wiseman, A. and J.
Zilczer. Visual Music: Synaesthesia in Art and
Music since 1900. New York: Thames & Hudson,
2005.
Cytowic, R. E. Synesthesia: A Union of the Senses 2 edition.
Cambridge, Mass.: The MIT Press, 2002.
DeWitt, T. “Visual Music: Searching for an Aesthetic.” Leonardo 20 (115-122),
1987.
Düchting, H. Paul Klee
Malerei und Musik. Munich: Prestel, 2001.
Evans, B. “Foundations of a visual music.” Computer Music Journal 29
(11-24), 2005.
Faulkner/D-Fuse, M., ed. VJ:
Audio-Visual Art and VJ Culture. London: Lawrence King
Ltd., 2006.
Martin, S. Videoarte.
Köln: Taschen, 2006. Mendoza, E. Fundamentals of Music
Composition for AVIA Translation. System
Research in the Arts and Humanities Symposium
Proceedings – Vol. II. Canada: The
International Institute for Advanced Studies in
Systems Research and Cybernetics: 55-61, 2008.
Peacock, K. “Instruments to perform color-music: Two centuries
of technological experimentation.” Leonardo 21 (397-406), 1988.
Robertson, L. y N. Sagiv, eds. Synesthesia,
Perspectives from Congnitive Neuroscience. Oxford:
Oxford University Press, 2005.
Rudi, J. “Computer music video: A composer’s perspective.” Computer Music Journal 29 (36-44),
2005.
Runciman, J. F. “Noises, Smell and Colours.” The Musical Quaterly 1, Nº 2 (abril
1915): 149-61. (Trad. E. Mendoza).
van Campen, C.. The Hidden
Sense. Synesthesia in art and Science. Cambridge,
Mass.: The MIT Press, 2008. (Trad. E. Mendoza).
Vernallis, C. Experiencing
Music Video: Aesthetics and Cultural Context. Nueva
York: Columbia University Press, 2004.