Esta página es una traducción automática. La versión en inglés es la de referencia. Ver en inglés →

◆ Investigación

Sistemas interactivos para lo que las personas no pueden alcanzar directamente.

Soy artista de medios e investigador. Hago instalaciones, juegos, simulaciones en tiempo real y personajes de IA, sobre todo para personas que no son especialistas. Una cosa atraviesa todo: la obra permite a las personas manejar algo que no pueden alcanzar por sí solas. Una persona del pasado sobrevive solo en registros. Un sentimiento no se puede sostener. La materia oscura no se puede ver. En cada caso construyo un sistema que la sustituye, y como la persona que usa el sistema no puede compararlo con la cosa real, gran parte de mi investigación trata sobre sus límites: qué se le permite decir, dónde se mantiene fiel al registro o a la ciencia, y cómo la persona aprende sus reglas al usarlo.

La obra se sitúa en tres áreas, IA y archivos, corporalidad y simulación, y estas se superponen. Arrastra los círculos para ver qué proyectos comparten.

Las dos obras del centro, Immersive Archive y Dark Matter Interactive Experience, son en las que paso la mayor parte de mi tiempo. En ambas, el sistema sustituye a algo que el visitante no puede comprobar por sí mismo, los documentos de Heilig o la materia oscura, así que tiene que mantenerse fiel a su fuente, y el visitante lo encuentra a través del cuerpo: una conversación dentro de una reconstrucción en RV, un mando frente a un muro curvo. Las obras de galería son donde empezó esto, con sentimientos y temperamentos como aquello que el visitante maneja.

◆ IA y archivos

Personajes de IA y los registros detrás de ellos.

Aquí lo que está fuera de alcance es una persona o un lugar que sobrevive solo en registros. Esta área trata de dar voz a ese material con IA. Su foco es la construcción del personaje, es decir, cómo las personas y lugares históricos se convierten en personajes capaces de mantener una conversación, y la base de datos que hay debajo: documentos y otros registros convertidos en datos estructurados y consultables con sus fuentes adjuntas. Gran parte del diseño trata sobre límites: qué puede decir el personaje, cómo maneja los vacíos del registro, y cómo el consentimiento y las normas de datos determinan lo que se construye.

Proyectos representativos

La cabina original del Sensorama iluminada para su documentación en un plató
El Sensorama, documentado por el laboratorio. Crédito: MEML, USC SCA.

◆ Corporalidad

Corporalidad e instalación.

Esta área trata de cómo la persona se encuentra con el sistema. Abarca instalaciones y juegos en los que el cuerpo es la interfaz, y en las obras de galería lo que se maneja está en sí mismo fuera de alcance: un sentimiento, o un temperamento. Diseño los controles, el montaje físico y la sala en conjunto, de modo que la forma en que un visitante se mueve, o se queda quieto, se convierte en parte de lo que la obra dice. Va desde instalaciones de galería y piezas de gestos hasta RV y una pantalla de gran formato.

Proyectos representativos

Un visitante sosteniendo un mando frente a la instalación Emotion en Arebyte Gallery
Emotion en Arebyte Gallery, Londres, marzo de 2024.

◆ Simulación

Sistemas en tiempo real y simulación.

Para mí, una simulación en tiempo real es una forma de permitir que las personas manejen algo que no pueden ver ni tocar directamente, como fuerzas físicas, el clima o la materia oscura. Como responde a cada entrada de inmediato, las personas aprenden sus reglas probando cosas. Cuando puedo, escribo los sistemas yo mismo, desde un solver de física de cuerpos blandos hasta universos generados por procedimientos, para que el comportamiento pueda ajustarse a lo que la obra necesita mostrar. Cuando el tema es científico, el modelo también tiene que mantenerse fiel a la ciencia, así que el diseño se trabaja con los científicos.

Proyectos representativos

La pantalla de título de Journey of Light en el muro de pantallas del VizLab
La Dark Matter Interactive Experience en el muro de pantallas del VizLab, octubre de 2026.

◆ Contexto de investigación

Campos en los que me apoyo.

  • Arqueología de los mediosLeer un dispositivo antiguo junto con las ideas escritas a su alrededor. Immersive Archive reconstruye el Sensorama, y Mort responde a partir de los Idea Books y las conferencias en las que Heilig elaboró esas ideas.
  • Estudios archivísticosLa procedencia, y la diferencia entre un registro auténtico y uno fiable. Cada pasaje de la base de conocimiento de Mort conserva su número de ítem, y una respuesta que repite un error de la propia conferencia de Heilig se califica como un problema de la fuente, no de Mort.
  • IA contestableLa idea de que las personas deberían poder cuestionar lo que un sistema de IA les dice. Mort cita el ítem detrás de cada respuesta y dice cuándo el archivo guarda silencio, de modo que un visitante puede comprobar una respuesta contra la página de la que proviene.
  • Interacción corporeizadaSignificado creado a través de cómo actúan las personas, no solo a través de lo que hay en pantalla. En Emotion cada sentimiento es una forma de moverse, y en Sophie's Night Sky Adventure la mano es el mando.

◆ Cómo trabajo

Métodos.

Creación

  • Investigación a través del diseño
  • Prototipado iterativo
  • Sistemas en tiempo real a medida

Archivos y datos

  • Investigación de archivo
  • Transcripción y metadatos
  • Evaluación de la recuperación

Personas

  • Pruebas de juego
  • Observación y entrevistas
  • Cuestionarios y métricas dentro del juego
  • Revisión por expertos

◆ Quién hizo qué

Mi parte en cada obra colaborativa.

  • Immersive ArchiveProyecto de equipo en USC MEML. Mío: el flujo de procesamiento de recuperación, el primer prompt del personaje, la transcripción y los metadatos, y el marco de validación. Compartido: afinar el personaje con los otros investigadores. Compañeros de equipo: la voz, el avatar y la reconstrucción en RV.
  • Memory Space: Chinatown ARProyecto de laboratorio con socios. Mío: la IA conversacional detrás de los personajes, la base de datos del proyecto y su gobernanza, y las herramientas que mantienen los recursos del proyecto consistentes entre plataformas. No mío: la experiencia en RA.
  • Dark Matter Interactive ExperienceAnnenberg Fellow en LARC. Mío: el diseño de toda la experiencia como juego interactivo, la generación procedimental, la simulación y su visualización, las pruebas de juego, y la coordinación entre científicos y diseñadores. Los científicos: los modelos y datos cosmológicos, y la revisión de cada decisión visual.
  • EmotionEn solitario. Diseño, programación, el texto de sala y la instalación.
  • Quattuor ScapesArtista y director técnico, con Uliana Sado, Tim Sang y Nika Varga. Texto de sala e instalación míos.
  • Stratford WonderlandDiseño de juego, programación y liderazgo del equipo, con Uliana Sado, Nika Varga y Tim Sang.
  • Emotional Weather, Verlet VoyageEn solitario: diseño, programación y la escritura.

◆ Siguiente

Hacia dónde va el trabajo.

Las tres áreas están convergiendo. Mort se está construyendo como un personaje en RV con voz, y la experiencia de materia oscura se dirige a una pantalla pública, así que en ambos casos la IA o la simulación se encontrarán a través del cuerpo, en una sala, por personas que no vinieron a estudiarlas. Lo que quiero trabajar a continuación está ahí: personajes de IA y simulaciones en entornos corporales y en tiempo real, y cómo mantenerlos fieles a su fuente mientras alguien juega con ellos.

El otro hilo es la comprobación. La evaluación construida para Mort, que rastrea cada fallo hasta la página, la transcripción o el modelo, es el tipo de método que quiero llevar a otros personajes construidos a partir de registros, empezando por los de Memory Space: Chinatown AR.

◆ Trayectoria

Resultados hasta ahora.

  • En preparaciónFaithful to the Record, Faithful to the Person? Archive and Character Fidelity in a Conversational Agent of Morton Heilig (Immersive Archive).
  • En preparaciónUn artículo sobre la traducción de la simulación cosmológica a una experiencia interactiva pública (LARC).
  • Oct 2026Dark Matter Interactive Experience, versión alfa en el muro de pantallas del VizLab, para la pantalla de Carnegie Science Observatories, Pasadena.
  • May 2026Primera prueba de juego de la Dark Matter Interactive Experience, 20 participantes, dos versiones comparadas.
  • 2025Quattuor Scapes, exposición colectiva, Arebyte Gallery, Londres.
  • 2025Verlet Voyage, UCL BA Media Degree Show. Tesis de grado basada en la práctica.
  • Mar 2024Emotion, en Algorithmic Unconscious, Arebyte Gallery, Londres. Parte del programa de Arebyte The Body, The Mind, The Soul, financiado por Arts Council England.