CONVERSA
VOCES EN LA CONSERVACIÓN
DIGITALIZACIÓN 3D PARA DOCUMENTACIÓN DE OBJETOS PATRIMONIALES E INSTALACIONES DE MEDIA ART
Por María Mercedes Morita y Gabriel Bilmes
Ponencia presentada en I Encuentro de Conservación y Digitalización organizado por el Museo Histórico Nacional del Cabildo y de la Revolución de Mayo. Buenos Aires, Septiembre de 2016
Gabriel M. Bilmes
Prof. Dr. en Física
Laboratorio de Ablación, Limpieza y Restauración con Láser, Centro de Investigaciones Ópticas (CONICET-La Plata-CIC). Casilla de Correo 3, (1897) Gonnet, Argentina.
Facultad de Ingeniería, Universidad Nacional de La Plata. Calle 1 y 47, La Plata, Buenos Aires, Argentina
Mercedes Morita
Lic. en Conservación y Restauración de Bienes Culturales
Laboratorio de Ablación, Limpieza y Restauración con Láser, Centro de Investigaciones Ópticas (CONICET-La Plata-CIC). Casilla de Correo 3, (1897) Gonnet, Argentina.
En los últimos años el uso de tecnologías para la adquisición de imágenes en 3D ha ganado una mayor atención por parte de museos y arqueólogos [1]. Un gran número de instituciones han trabajado en el modelado de esculturas [2], la documentación y virtualización de sitios arqueológicos [3] y en aplicaciones interactivas y de visualización en 3D [4]. Los registros 3D pueden servir también para producir copias físicas de originales, y para futuros proyectos de conservación y restauración [5]. Uno de los campos en los que el uso del 3D es estratégico es en el de la documentación [6,7,8], permitiendo el monitoreo a largo plazo del estado de conservación de una pieza y el registro de los deterioros que a simple vista no son detectables, como grietas, cambios dimensionales o desprendimientos [9,10]. Posibilita realizar simulaciones virtuales de reconstrucción de elementos perdidos o sustituciones de piezas, etiquetado y mapa de deterioros virtuales. Permite además realizar medidas a escala real de la totalidad del objeto o de cualquier segmento del mismo, hacer cálculos de diferencia de volumen tras una limpieza [11] y diseñar réplicas y contenedores, sin necesidad de manipular la pieza [12].
Por otra parte, las técnicas de registro 3D junto con tecnologías de telepresencia (Realidad Virtual) pueden hacer una contribución importante a la conservación de Media Art y el arte de Instalación. La virtualización dinámica e interactiva, en una imagen 3D, de las partes materiales que integran todos los componentes digitales de software y señales audiovisuales, así como todos los patrones cinéticos y de interacción, permite un nuevo método de documentación que brinda la accesibilidad por telepresencia1 a obras de arte raramente exhibidas o ya destruidas, guardando el nivel de la experiencia sinestésica2 [13].
En Argentina, las técnicas de registro en 3D para documentación y conservación prácticamente no tienen antecedentes de desarrollo y/o aplicación en el ámbito de la conservación-restauración de bienes culturales. Los registros siguen siendo los tradicionales, fotografías y dibujos que, además, implican la manipulación continua de las piezas. Por otra parte, la difusión de las colecciones todavía sigue siendo precaria, en el sentido de que los museos no se aggiornaron al avance de las nuevas tecnologías. El concepto de museo virtual es entendido muchas veces como una página web que funciona como exhibidor de imágenes fotográficas con breves descripciones de las piezas y no como un espacio interactivo para el público y especialistas. Los museos argentinos no utilizan técnicas de adquisición y procesamiento de imágenes, ni mucho menos técnicas de realidad aumentada o realidad virtual para difundir sus colecciones o para que el público interactúe con ellas.
Frente a esta situación, en los últimos años, el Laboratorio de Ablación, Limpieza y Restauración con Láser (LALRL) del Centro de Investigaciones Ópticas (CIOp) ha estado investigando la utilización de tecnología 3D en patrimonio cultural. Ha experimentado con las técnicas de escaneo con luz estructurada, escaneo con láser, fotogrametría digital y con la técnica Reflectance Transformation Imaging (RTI). Esta línea es parte de un programa que proyecta brindar a las instituciones públicas que albergan objetos patrimoniales el acceso a un sistema de captura y procesamiento de imágenes 3D, gratuito, fácil de usar y accesible. Por otra parte, el LALRL-CIOp ha interactuado con el Centre for Cultural and General Studies del Karlsruhe Institute of Technology (ZAK-KIT) y el Intelligent Sensor-Actuator-Systems Laboratory (ISAS-KIT), en Alemania, para investigar la utilización de técnicas de registro 3D combinadas con técnicas inmersivas de telepresencia (Realidad Virtual). En el presente trabajo se presenta por un lado el desarrollo y la implementación de las técnicas de registro 3D y se muestran ventajas y limitaciones de cada una de ellas para la documentación de objetos patrimoniales. Se discute además las posibilidades de las tecnologías de telepresencia para documentación de instalaciones de Media Art y se muestra su aplicación a una instalación de una artista argentina.
Técnicas de registro 3D
La fotogrametría es una técnica para obtener información de objetos o escenas, (posición, tamaño y forma) a partir de dos o más fotografías, tomadas en diferentes posiciones. En la zona de solapamiento entre dos fotografías se puede tener visión estereoscópica, es decir, información tridimensional. En otras palabras, es una técnica de medición de coordenadas 3D que utiliza fotografías junto con puntos de referencia como medio fundamental para la medición. En fotogrametría digital el proceso se resuelve y automatiza mediante algoritmos de detección de características en común entre cada imagen, y el posterior cálculo de la posición y orientación de cada toma para lograr reconstruir la escena 3D. Un sistema que reúne estos procesos es el denominado Structure from Motion (SFM) [14], que además permite producir una imagen 3D en forma de nube de puntos.
Otras técnicas de registro 3D muy utilizadas son el escaneo con láser y con luz estructurada. La primera consiste en proyectar una línea láser sobre un objeto y moverla en una dirección, mientras una cámara va registrando la deformación de esa línea reflejada en el objeto, a medida que se va desplazando [15]. Un software interpreta estas deformaciones en forma de coordenadas 3D y se genera la imagen
tridimensional. Por otro lado, el escaneo con luz estructurada [16] utiliza un proyector en vez de una fuente láser y se proyecta sobre el objeto un patrón de luz con una secuencia binaria (por ejemplo, rayas blancas y negras), que se desplaza linealmente. Una cámara captura las imágenes del patrón de franjas, para cada posición sobre el objeto, y un software adecuado procesa los datos y proporciona una imagen 3D del objeto.
La técnica RTI (Reflectance Transformation Imaging) [17], si bien no proporciona un registro 3D en un sentido estricto, brinda imágenes en 2 dimensiones con información sobre relieves, craquelados, fisuras y texturas. Se utiliza principalmente para la documentación de escritos, pinturas, frisos y relieves. La técnica consiste en tomar imágenes del objeto con una cámara en posición fija, y colocar una fuente de luz en diferentes posiciones para cada toma. Una esfera reflectante, ubicada cerca del objeto, y un software permiten calcular la dirección en la que proviene la luz en cada imagen registrada. Esta información es procesada por un software y el resultado es una imagen interactiva del objeto, en la cual se lo puede visualizar bajo diferentes direcciones de luz y crear distintos efectos.
El registro de instalaciones y obras de Media Art
Uno de los problemas que se presentan en la conservación del arte de instalación y obras de Media Art es que en general los registros son bidimensionales (fotografías, videos, dibujos). Estas formas de representación no contienen la experiencia física del espacio. Una instalación, dada su tridimensionalidad, suele tener una relación con su ambiente espacial y con el propio cuerpo del espectador. Esto es difícil de representar en 2 dimensiones, pero a la vez es crucial a la hora de la descripción/documentación y la re-instalación de la obra. Asimismo, la instalación de Media Art presenta un reto al momento de la exhibición y la preservación para los museos: muchas obras de este tipo dejan de estar en exhibición, ya sea porque los repuestos escasean, el mantenimiento es demasiado complicado o costoso, o el museo simplemente no puede proporcionar el espacio necesario. Muñoz Morcillo [13] clasifica a la e-Installation como un nuevo método de documentación sinestésico que contribuye a la conservación de Media Art. Una e-installation es una obra de Media Art virtualizada que reproduce todos los niveles de sinestesia, interacción y significado de la obra, utilizando tecnologías avanzadas de modelado 3D y de telepresencia con un alto nivel de inmersión, permitiendo la re-creación de obras de Media Art que ya no son operables o raramente se exhiben.
Un ejemplo de la potencialidad de los métodos de virtualización aplicados al Media Art es el caso de la la video-escultura Versailles Fountain (1992) de Nam June Paik. El proyecto fue realizado durante el semestre 2013-2014 por estudiantes del ISAS-KIT junto con el ZAK-KIT para el proyecto “e-Installation” [18]. El ISAS-KIT investigó la telepresencia a través de un sistema llamado "Holodeck", que consta de una red de sensores (en este caso, Kinects), un servidor de renderización, y un dispositivo HMD3 (en este caso se utilizó un Oculus Rift). Una e-Installation tiene características muy similares a los juegos de computadora, porque posee elementos físicos digitalizados en 3D, contenido audiovisual y elementos cinéticos e interactivos. En las figuras 1 y 2 se resume en imágenes los resultados de este proyecto, donde se combinaron varias tecnologías: modelado 3D, fotogrametría digital, diseño de efectos visuales y de audio, arquitecturas virtuales basadas en motor de juego y un sistema de telepresencia. El producto final de la integración de todos estos recursos técnicos y de diseño es una aplicación interactiva, que permite al usuario, el cual se convierte en espectador virtual, visualizar y percibir toda la obra de forma muy realista.
Figura 1. Proceso de reconstrucción de la “Versailles Fountain” (1993). De izquierda a derecha: Fotografía de la obra original hasta el modelo 3D final con elementos audiovisuales.
Figura 2. Inspección virtual de la obra “Versailles Fountain” en el Holodeck del ISAS. Izquierda: Usuario con un dispositivo HMD. Derecha: Lo que el usuario está percibiendo. Imagen extraída de la web del KIT (http://e-installation.forschung.kit.edu/english/26.php)
MATERIALES Y METODOLOGIA
En este trabajo se aplicó la fotogrametría digital combinada con SFM a una colección de objetos de diferente tipo, material, tamaño y forma. Entre ellas, obras escultóricas del museo de Calcos de la Facultad de Bellas Artes de la UNLP; una escultura de bronce de Aurelio Macchi; una escultura de piedra de Naum Knop (ambas obras de la colección del Palais de Glace de Buenos Aires); un instrumento musical; la instalación “Insolada” de Joaquín Boz; la instalación “Días de mar”, de Daniel Lorenzo; una técnica mixta; una réplica de plástico del artista Ottmar Hörl, una obra escultórica de la artista Natalia Abot Glenz; una pequeña escultura peruana de terracota; placas metálicas arqueológicas; y una variedad de objetos no patrimoniales de diferentes tamaños y materiales, como molduras de yeso, porcelanas, fragmentos de vasijas, huesos y piedras. El procedimiento de la fotogrametría digital puede resumirse en dos pasos: toma de fotografías y procesamiento de imágenes.
En todos los casos, las fotos fueron tomadas en un amplio rango de orientaciones y posiciones, resultando un solapamiento mayor al 70%. En algunos casos fue posible mover la cámara alrededor del objeto, mientras que en otros se optó por utilizar un disco giratorio manteniendo la cámara fija. En estos casos se colocó además un fondo blanco para evitar “contaminar” la escena a fotografiar y reflejar mejor la luz. Se utilizaron cámaras réflex con un buen tamaño de sensor, lentes 18-55mm, y se procuró mantener una ISO baja y una distancia focal fija. La clave es que las imágenes sean bien nítidas y de alta resolución para obtener más características en común y generar una nube de puntos más densa. La iluminación debía ser difusa y pareja; por lo tanto, en algunos casos se utilizaron flashes de estudio con paraguas; y cuando los objetos podían ser registrados en exteriores, se tomaron las fotos en día nublado. La cantidad de fotos varió con la complejidad de la forma del objeto. En general se tomaron entre 70 y 120 fotos.
Para el procesamiento de imágenes se utilizó, en primer lugar, el software de uso libre VisualSfM (Washington University, Seattle) [19] para realizar la correspondencia entre las fotografías y generar una nube de puntos 3D; luego el software CMP-MVS [20,21], para generar una malla texturizada a partir de esa nube de puntos; y, por último, el software Meshlab (ISTI-CNR, Pisa) [22] para limpiar el modelo generado, realizar mapeos de deterioros y mediciones virtuales.
Por otra parte, se escaneó una pequeña escultura peruana de terracota (5,2 cm x 4,6 cm x 4,2 cm) (figura 3, a la izquierda) con láser y luz estructurada. En este caso se utilizó el software de escaneo David 3D, de David Vision Systems (Alemania) [23], disponible gratuitamente desde su sitio web, y un patrón geométrico de fondo, que brinda el software, para la calibración de la cámara y el plano del láser.
Para el escaneo con láser, se utilizó un láser de diodo de 5 mw de emisión continua en 650 nm (rojo) que, mediante una lente cilíndrica, genera una línea sobre el objeto. Dos paneles de cartón dispuestos a 90° actúan como referencia para el patrón de calibración. Las imágenes se tomaron con una cámara Thorlabs 1645c y el movimiento del láser se realizó mediante un motor paso a paso para desplazar el láser lenta y regularmente. Como primer paso se realizó la calibración de la cámara, usando los paneles. Luego se posicionó el láser con un ángulo de intersección de 30° (el ángulo entre el plano del láser y el plano horizontal de la cámara). La línea láser se enfocó en el objeto, de manera que ésta estuviese bien definida y su grosor fuese menor a 1 mm (Figura 3, a la derecha). Se procedió entonces a desplazar la línea a una velocidad menor a la de la frecuencia de cuadros por segundo tomados por la cámara. Cada escaneo duró aproximadamente 5 minutos usando un paso a paso de 2,5 μm de resolución, con una adquisición de imágenes de 1280x1024 px a 10 fps.
Figura 3. Izquierda: Escultura Pre-Inca peruana de terracota (5,2cmx4,6cmx4,2cm). Derecha: Configuración utilizada para escaneo con láser. Fotografía tomada en el LALRL-CIOp.
Para el escaneo con luz estructurada, se reemplazó el láser por un proyector Epson PowerLite 52c de 1200 lúmenes, enfocado con una lente convexa para trabajar a una distancia de unos 20 cm. La cámara y los paneles de calibración fueron los mismos que se emplearon para el escaneo con láser, pero, en este caso, se realizó una proyección de diferentes patrones para calibrar el sistema. Luego se procedió a proyectar la secuencia de franjas en el objeto. El número de patrones de franjas fue de 58 y el tiempo entre cada proyección subsiguiente fue de 1000 ms.
En ambos casos, para completar el registro de la escultura fue necesario rotarla en todas sus direcciones para cada nuevo escaneo. Se realizaron un total de 25 rotaciones, procurando que tengan un solapamiento de aproximadamente 30 % para luego poder fusionarlas.
La técnica RTI fue utilizada para el relevamiento de la superficie de una pieza de hueso precolombina (calota craneana). La cámara utilizada fue una Canon EOS Rebel T2i, f/ 5.6, ISO 200, distancia focal 27mm para tomar imágenes de 5184x3456 px en formato RAW. Se tomaron 35 imágenes. Para la iluminación se utilizó un reflector con lámpara incandescente, controlando su posición manualmente en cada toma (Ver figura 4a) y se utilizaron dos esferas negras para visualizar la ubicación del punto brillante producido por la reflexión de la luz (Ver figura 4b). El siguiente paso fue el procesamiento con el software gratuito RTI Builder, que permite calcular la dirección en la que proviene la luz en cada imagen registrada. El hardware utilizado para el procesamiento de SFM, la generación y retoque de las mallas 3D, la alineación y fusión de los escaneos, y el procesamiento para generar archivos RTI, fue una computadora con sistema 64 bits, procesador Intel® Core™ i7-4770 CPU @ 3.40 GHz, equipada con una placa de video NVIDIA GeForce GTX 760 con 2GB GDDR5 y 8Gb de memoria RAM. Para el proceso de escaneo láser y de luz estructurada, se utilizó una notebook con sistema 32 bit, con procesador Intel® Core™2 Duo CPU T5870 @ 2.00GHz y 1,99 GB de RAM.
Figura 4. a) Configuración de la posición de la cámara y la fuente de luz respecto al objeto en la técnica RTI. Los ángulos de inclinación de la luz respecto al centro de la cámara fueron entre 65° y 15° aproximadamente. b): Disposición de las esferas reflectantes.
En lo que respecta a documentación y re-creación de obras de instalación, se realizó una simulación de realidad virtual para el grupo escultórico “Puentes de otoño” (de aproximadamente 25 cm de altura) de la artista Natalia Abot Glenz. Se recreó la misma obra, pero en una versión distinta virtualizada. La intención de la artista era poder visualizar su obra en otra escala y en diferente composición. Primero se realizó un modelo 3D con fotogrametría digital utilizando VisualSfM, y luego se utilizó el software de motor de juegos Unity 3D [24] para incorporar el modelo a una escena 3D interactiva. Para la creación de la escena se decidió hacer una sala de museo ficticia, constituida por una habitación con paredes blancas y piso de madera (Ver figura 5).
La sala exhibe, además de las dos esculturas en diferentes escalas, cuadros de Jorge Abot, padre de la artista, y un cartel de presentación de la artista. Además, se incorporaron elementos decorativos como asientos y luces dirigidas, que dan la sensación de luces de exhibición. Cada objeto 3D de la escena es una malla poligonal a la que se le aplicaron “colisionadores”, que son componentes que se agregan a los objetos de la escena para colisionar físicamente con otros objetos o con el “jugador”. Esto quiere decir que cuando el jugador (el espectador que caminará por la sala) llegue al lugar donde se encuentra el objeto, no podrá atravesarlo. El espectador, en este caso, es controlado en primera persona, lo que significa que no hay necesidad de colocar un personaje o avatar. El cuerpo del espectador puede interactuar con los demás elementos a través de diversos tipos de colisionadores que proporcionan sensación física como la gravedad, entre otras. El sonido de los pasos del espectador también puede ser editado, así como la velocidad del desplazamiento y rotación de la cabeza.
Figura 5. Izquierda: Vista superior de la sala. Centro: Luz “Spot” dirigida hacia el panel con información en la pared. Derecha: Sector de la sala donde se colocaron los asientos. Se observa un cuadro sobre la pared.
RESULTADOS Y DISCUSIÓN.
Luego de haber aplicado la fotogrametría digital con Structure from Motion a una variedad de objetos diferentes, los resultados más satisfactorios se dieron en los objetos cuyo material es opaco, como es la piedra, el yeso, el cemento y el metal corroído. Lo mismo ocurre para los objetos que tienen una trama en la textura. Por el contrario, los objetos muy reflectantes, como la porcelana esmaltada, producen modelos 3D distorsionados en sus bordes y con faltantes en algunas zonas, como ocurre el interior de un tazón. Esto es debido a que a medida que se tomaron las fotos, la luz reflejada iba cambiando continuamente de posición en el objeto. En cuanto a la técnica mixta, compuesta por un cilindro de cartón pintado con color verde claro y unos resortes de metal en la parte superior que generan formas orgánicas, el resultado fue un modelo 3D incompleto en la zona del cilindro, debido a que su textura era muy lisa y de un color plano. En este caso el modelo 3D de los resortes resultó ser una masa entera compacta.
Un ejemplo donde se obtuvo imágenes 3D de muy buena calidad es el de la escultura de mármol del artista Naum Knop “Figura reclinada” (54x85x45cm), colección del Palais de Glace de Buenos Aires. En este caso, para la toma de fotos se utilizó un disco giratorio, manteniendo la cámara fija. Para poder asignarle una escala real a la imagen 3D y también para luego poder tomar medidas reales virtualmente, se utilizó una regla colocada apropiadamente en una parte de la escultura. Se tomaron 116 imágenes en formato TIFF, que luego fueron pasados a JPG con resolución
4288x2848 px. El producto generado por VisualSfM fue una nube de puntos 3D, de baja densidad, donde ya se podía intuir la forma de la escultura (Figura 6, a la izquierda). Esta nube pudo hacerse mucho más densa con las herramientas PMVS/CMVS incorporadas en el VisualSfM (Figura 6).
Figura 6. Escultura “Figura reclinada” de Naum Knop. Izquierda: Escena reconstruida con el software VisualSfM, donde se observa la posición y orientación de las cámaras, en cuyo centro aparece la primera nube de puntos. Derecha: la nube de puntos más densa, realizada con la herramienta CMVS.
De la nube de puntos densa se pudo pasar a una malla texturizada utilizando técnicas de procesamiento de imágenes. Para ellos se utilizaron los filtros de reconstrucción de superficie y textura que posee Meshlab [25,26]. Sin embargo, este proceso fue bastante complejo y requirió de mucho tiempo, y el resultado no fue satisfactorio. Por lo tanto, se optó por utilizar el software CMP-MVS [27]. Éste permite procesar optimizar la reconstrucción de superficies cuyas nubes de puntos no fueron lo suficientemente densas. Una vez generada la imagen 3D en forma de malla texturizada fue necesario editarla con Meshlab para eliminar las partes que no pertenecían al modelo. El resultado obtenido fue una malla con color que pesa 116 MB en formato PLY, pudiendo ser importado en la mayoría de los software de imágenes 3D. El procesamiento del CMP-MVS fue lo que más tardó, aproximadamente 1 hora y media, lo que depende de la computadora utilizada.
En Meshlab, la visualización de la imagen 3D resultó muy completa, con la posibilidad de rotarla o acercarla. Además, permite, entre otras aplicaciones, tomar medidas libremente, calcular volúmenes y editar los colores y texturas (Figura 7). Esta posibilidad de intervención en la imagen 3D hace que pueda ser utilizada en los museos para crear mapeo de deterioros o de restauraciones en la pieza. La resolución de la imagen 3D obtenida fue de aproximadamente 1 mm (0.1% de la máxima dimensión del objeto), lo que resultó ser suficiente para el objetivo de la institución: el registro para inventario y difusión de la escultura mediante su página web.
Figura. 7. Izquierda: Visualización de la imagen 3D de la obra “Figura Reclinada” de Naum Knop. Derecha: Posibilidad de hacer mapeo de deterioros en la imagen 3D utilizando el software Meshlab.
En el caso de la escultura de terracota, se obtuvieron imágenes 3D utilizando fotogrametría, scanner láser (SL) y luz estructurada (SLE). Para la obtención de la imagen 3D con fotogrametría digital se siguieron los pasos ya descriptos en el apartado anterior para la escultura “Figura reclinada”. En el caso de SL y SLE la imagen 3D final está conformada por la fusión de varias mallas sin color, en formato OBJ. Como el solapamiento entre los escaneos fue mayor a 30% se garantizó una alineación y fusión automática de las mallas (Figura 8). El tiempo total de todos los escaneos y el procesamiento de datos en ambos casos fue de 2 horas, mientras que, en el caso de la fotogrametría, el registro y procesamiento de datos consumió menos de una hora, con la ventaja adicional de que la imagen 3D contiene el color original de la pieza. En los tres casos la resolución de la imagen 3D obtenida fue de 200-400 μm aprox. (0,06 % de la máxima dimensión del objeto).
Figura 8. Alineamiento y fusión de las mallas generadas por escaneo con láser, utilizando David 3D. a) Mallas formadas por distintos escaneos. b) Alineamiento de las mallas. c) Fusión de las mallas.
La aplicación de la técnica RTI a una calota precolombina se realizó con el objetivo de poner de manifiesto en la textura superficial de la pieza, caracterizada por surcos y rugosidades, deterioros producidos por erosión y manipulación. El archivo generado con RTI puede ser visualizado con el software RTI Viewer, también disponible gratuitamente [17]. El tiempo de procesamiento fue muy corto, de algunos pocos minutos. Este software permite interactuar con la imagen del objeto, controlando la dirección de la luz mediante la esfera guía del costado. (Ver figura 9, a y b). El registro RTI de la calota permitió observar distintas características de la superficie, especialmente los surcos y rugosidades y marcas que podrían no ser del original. Al aplicarle un filtro especular y aumentarle el zoom se pudo visualizar en forma mucho más evidente este resultado. (Ver figura 9, c y d).
Figura 9. Visualización de una imagen RTI. La esfera verde indica la dirección de iluminación. a) Calota precolombina iluminada frontalmente. b) Calota iluminada desde izquierda superior. c) Aplicación de filtro especular con iluminación frontal. d) Detalle con zoom. En el recuadro amarillo se indica una zona con marcas de golpes ocasionados por algún elemento punzante.
La virtualización de la obra “Puentes de otoño” en una primera instancia puede ser compilada para PC-Windows, controlando al espectador en primera persona mediante el teclado, para el desplazamiento; y el mouse, para la rotación y vista. Sin embargo, para que la experiencia de realidad virtual sea más inmersiva, se puede utilizar un dispositivo como el Oculus Rift y sensores como el Kinect. Dado que para este experimento no se contaba con este tipo de instrumental, se utilizó el Cardboard SDK para Unity 3D para implementarlo en un smartphone con sistema Android como dispositivo HMD. Se hicieron los ajustes necesarios para implementar la visión de dos cámaras en la escena y por último se la compiló para Android. El resultado fue una aplicación para smartphone que contiene una visión estéreo 3D de la obra en la sala del museo (Figura 10). El usuario puede utilizar el visor de cartón de Google para colocar el teléfono y disfrutar de la experiencia inmersiva con vista estereoscópica. Sin embargo, este sistema no tiene seguimiento de desplazamiento del usuario, sino de la cabeza, por lo que se contra esta variable desde la PC a través del teclado.
Figura 10. Visión estereoscópica de virtualización de la obra “Puentes de otoño” de Natalia Abot Glenz.
CONCLUSIONES
En este trabajo se ha discutido las posibilidades que brinda la digitalización 3D en conservación de arte y patrimonio cultural y se muestran ejemplos de la aplicación de tres técnicas de registro 3D, una técnica de visualización de relieves y un ejemplo de virtualización de obra de instalación. La fotogrametría digital resulta una opción muy ventajosa, respecto a las técnicas de SL y SLE, para los registros de objetos opacos y con mucha textura. Tiene la ventaja del bajo costo del instrumental requerido, ya que sólo se necesita una cámara fotográfica estándar y una computadora; no requiere un montaje complejo; se puede aplicar a cualquier tamaño de objeto; y puede ser implementada fácilmente por personal de museos. Además, desde el punto de vista de la resolución, la fotogrametría digital puede alcanzar la misma resolución que las técnicas de escaneo láser y luz estructurada de bajo costo. La fotogrametría digital con Structure from Motion no sería la técnica adecuada para el registro de texturas que reflejan mucho la luz, (como espejos, metales, barnizados brillantes), áreas planas de un solo color, objetos muy oscuros, objetos que se mueven o que pueden crear sombras causadas por el viento, materiales fibrosos como cabello y plumas, objetos transparentes, objetos muy finos en los que se pretenda registrar ambas caras del mismo y entramados pequeños. Existen algunas soluciones para utilizar la técnica en objetos que sean muy brillantes, pero que pueden ser invasivas para su uso en bienes culturales. Uno de ellos es la utilización de aerosoles, aplicando una capa fina de polvo o pintura que puede ser removida fácilmente con pincel o esponja con agua. Esta cobertura proporciona al objeto un acabado blanco opaco para preparar superficies brillantes, translúcidas o muy oscuras, ya sea para el caso de fotogrametría o mismo para el proceso de SL o SLE. Una posible solución al problema de las superficies con pocas características, las cuales dificultan la correspondencia entre imágenes, es la utilización de patrones de luz proyectados en el objeto.
En otro sentido, la técnica RTI resulta una muy buena opción para el registro de superficies de objetos. Su ventaja frente a las técnicas de escaneo 3D (laser y luz estructurada), muy utilizadas generalmente para registrar superficies de pinturas de caballete u otros objetos planos, es la facilidad, el costo y el tiempo de procesamiento, además de ser una herramienta cómoda y muy interactiva para cualquier conservador-restaurador.
Por último, en este trabajo se ha presentado el concepto de e-Installation como solución para la documentación y exhibición de obras de Instalación y Media Art, y se ha aplicado este método para la re-creación virtual de una obra de Natalia Abot Glenz. Se puede decir que la digitalización y la re-creación virtual de la obra impactan en los conceptos de autenticidad que se tenían hasta ahora en la conservación de obras de arte y en el uso de telepresencia también como una herramienta de creación de obra. Y, por último, se concluye que la tecnología involucrada en la digitalización de tales obras (reconstrucción mediante modelado y técnicas de adquisición de imágenes 3D, sistemas de telepresencia y programación en motor de juegos) implican ya otro nivel complejidad, haciendo esencial el trabajo interdisciplinario entre conservadores y especialistas de la ingeniería y la computación. No obstante, los software empleados para estas aplicaciones están siendo cada vez más accesibles para el usuario común.
AGRADECIMIENTOS
Palacio Nacional de las Artes – Palais de Glace. Buenos Aires, Argentina.
Centre for Cultural and General Studies del Karlsruhe Institute of Technology (ZAK-KIT), Karlsruhe, Alemania.
Intelligent Sensor-Actuator-Systems Laboratory del Karlsruhe Institute of Technology (ISAS-KIT), Karlsruhe, Alemania.
Natalia Abot Glenz.
FINANCIAMIENTO
Este trabajo fue parcialmente financiado por el Proyecto 11/I199, Facultad de Ingeniería, Universidad Nacional de La Plata y el European Commission Seventh Framework Programme bajo el acuerdo de subvención FP7-INFRASTRUCTURES-2012-1-313193 (ARIADNE). María M. Morita es becaria doctoral en el Consejo Nacional de Investigaciones Científicas y Técnicas (CONICET). Gabriel M. Bilmes es investigador de la Comisión de Investigaciones Científicas de la Provincia de Buenos Aires (CIC-BA) y Profesor de la Facultad de Ingeniería de la Universidad Nacional de La Plata.
REFERENCIAS DE NOTAS
1 La telepresencia permite percibir la obra sin la necesidad de que el espectador y la obra coincidan en un mismo espacio y tiempo.
2 En arte, la sinestesia se refiere al uso de elementos artísticos que involucran a diferentes sentidos conjuntamente.
3 HMD (del inglés head-mounted display), es un dispositivo de visualización similar a un casco, que permite reproducir imágenes creadas por computadora sobre una pantalla muy cercana a los ojos. Debido a su proximidad con los ojos permite que las imágenes visualizadas resulten mucho mayores que las percibidas por pantallas normales, y permite incluso englobar todo el campo de visión del usuario. Gracias a que el dispositivo se encuentra sujeto a la cabeza, éste puede seguir los movimientos del usuario, consiguiendo así que éste se sienta integrado en los ambientes creados por computadora.
REFERENCIAS BIBLIOGRAFICAS
[1] PEZZATI, L. y FONTANA, R. 2007. “3D Scanning of Artworks” Cost G7 Handbook on the Use of Lasers in Conservation and Conservation Science.
[2] GUIDI, G. et al. 2004. “High accuracy 3D modeling of Cultural Heritage: the digitizing of Donatello’s Maddalena”. En: IEEE Transactions on Image Processing. 2004, Vol 13 p.p. 370-380.
[3] LAMBERS, K. et al. 2007. “Combining photogrammetry and laser scanning for the recording and modeling of the Late Intermediate Period site of Pinchango Alto, Palpa, Peru” J. Archaeol. Sci.
[4] ANDERSON, S. y LEVOY, M. 2002. “Unwrapping and Visualizing Cuneiform Tablets” En: IEEE Comput. Graph. 2002, Vol 22, p.p. 82-88.
[5] CALLIERI M et al. 2011. “Modelli digitali 3D per il supporto al restauro: riassemblaggio digitale e ricostruzione virtuale. La madonna di Pietranico - Storia, restauro e ricostruzione di un'opera in terracotta” pp. 74 - 82. Lucia Arbace, Elisabetta Sonnino (eds.). Pescara, Italy: Edizioni ZIP, 2011.
[6] TORRES, J.C et al. 2010. “Aplicaciones de la digitalización 3D del patrimonio” SEAV Sociedad Española de Arqueología Virtual.
[7] BLAIS, F. et al. 2007. “Ultra-High-Resolution 3D Laser Color. Imaging of Paintings. The Mona Lisa by Leonardo Da Vinci” En: NRC Publications Archive.
[8] FONTANA, R. et al. 2002 “Three-dimensional modelling of statues: The Minerva of Arezzo” En: Journal of Cultural Heritage, Vol. 3, Nro 4, p.p. 325-331.
[9] HALLET, Z. et al. 2008. High-resolution 3D Laser Digitisation of the Maiano Terracotta Roundels for Documentation and Condition Monitoring. In: M. Castillejo et al., eds. Lasers in the Conservation of Artworks: Proceedings of the International Conference Lacona VII, Madrid, Spain, 17–21 September 2007. CRC Press, pp. 413–18.
[10] LEVOY, M. et. al. 2000. “The digital Michelangelo project: 3D scanning of large statues” En: Proc. SIG-GRAPH 00, Computer Graph. Proc., Annu. Conf. Ser., New Orleans, Louisiana, 2000, p.p. 131-144.
[11] CANO et al. 2010. Uso de escáner láser 3D para el registro del estado previo a la intervención de la Fuente de los Leones de La Alhambra.Virtual Archaeology Review (ISSN: 1989-9947) 05/2010; 1(2):89-94.
[12] SCOPIGNO, R. et al. 2003. “Using optically scanned 3D data in the restoration of Michelangelo’s David” En: SPIE Int. Symposium on Optical Metrology. Munich. 23-26 junio 2003.
[13] MUÑOZ MORCILLO, J. et al. 2014. “e-Installation: Synesthetic Documentation of Media Art via Telepresence Technologies”. Disponible en: http://arxiv-web3.library.cornell.edu/abs/1408.1362
[14] SNAVELY et al. 2008. “Modeling the world from internet photo collections” International Journal of Computer Vision, 80 (2008), pp. 189–210.
[15] I COLLADO, J. F. 2004. “New methods for triangulation-based shape acquisition using laser scanners,” p. 150, 2004
[16] GEORGOPOULOS, A. et al. 2010. “Assessing The Performance of a Structured Light Scanner”. International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences.
[17] http://culturalheritageimaging.org/Technologies/RTI/
[18] http://e-installation.forschung.kit.edu/english/26.php [19] WU, Changchang “VisualSFM: A visual structure from motion system”. URL: http://homes. cs. washington. edu/~ ccwu/vsfm, 2011.
[20] FURUKAWA, Y. et al. 2010. “Clustering view for multi-view stereo” Proceedings, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 13–18 June, San Francisco, USA, pp. 1434–1441.
[21] FURUKAWA, Y. y PONCE. J. 2007. “Accurate, dense, and robust multi-view stereopsis”. Proceedings, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 17–22 June, Minneapolis, USA, pp. 1–8.
[22] COGNONI et al. 2008. “MeshLab, an Open-Source Mesh Processing Tool”. Eurographics Italian Chapter Conference, July 2008, Salerno.
[23] WINKELBACH, S. et al. 2006. “Low-Cost Laser Range Scanner and Fast Surface Registration Approach,” 28th DAGM Symp. Berlin, Ger. Sept. 12-14, 2006. Proc., no. i, pp. 718–728.
[24] http://unity3d.com/
[25] KAZHDAN, M. et al. 2006 “Poisson surface reconstruction,” Eurographics Symp. Geom. Process., pp. 61–70.
[26] DELLEPIANE, M. et al. 2010. Improved color acquisition and mapping on 3D models via flash-based photography. ACM Journal on Computers and Cultural Heritage, vol. 2, pp. 1–20, Feb. 2010. DOI: 10.1145/1709091.1709092
[27] JANCOSEK, M. y PAJDLA, T. 2011. “Multi-View Reconstruction Preserving Weakly-Supported Surfaces”. IEEE Conference on Computer Vision and Pattern Recognition. DOI: 10.1109/CVPR.2011.599569