Hablar con un inventor a través de su archivo.
Los museos y archivos empiezan a dejar que los visitantes hablen con versiones de IA de personas reales. Mort está construido para responder solo a partir del archivo, y mi investigación comprueba si lo hace.
El Immersive Archive es un proyecto del USC Mobile & Environmental Media Lab, dirigido por Scott Fisher, que preserva la historia de la realidad virtual. El laboratorio reconstruye los primeros dispositivos como simulaciones en las que la gente puede entrar en realidad virtual, como el Sensorama de Morton Heilig y el visor montado en la cabeza de Ivan Sutherland.
Los papeles de Heilig llegaron a USC en 2017, veinte años después de su muerte, y se conservan en el USC Hugh M. Hefner Moving Image Archive. La colección ocupa ocho cajas. Entre ellas están los Idea Books que llevó desde 1943 hasta los años ochenta y grabaciones de sus conferencias.
- La colección
- Ocho cajas
- Los Idea Books
- De 1943 a los años ochenta
- En USC desde
- 2017
El laboratorio está ampliando ahora el archivo de los dispositivos a las ideas que hay detrás de ellos. Mort es un agente que responde a las preguntas de los visitantes como Heilig, a partir de sus propios papeles, y señala el elemento del archivo del que sale cada respuesta. La familia de Heilig aprobó el proyecto. El objetivo es que la gente explore la historia de la realidad virtual usando las primeras máquinas y preguntando a la persona que las imaginó.
La base de conocimiento detrás de Mort, y la comprobación de sus respuestas.
Mort es obra de todo el laboratorio, y conectar las partes en un solo agente lo hizo el laboratorio en conjunto. Mi parte es el flujo de procesamiento que convierte el archivo en la base de conocimiento de Mort, desde la transcripción de los manuscritos hasta la recuperación desde la que Mort responde. También trabajé en la voz en primera persona de Mort, y en cómo declina preguntas, con otros investigadores del equipo. Las reconstrucciones en realidad virtual y el personaje MetaHuman los hacen otros miembros del laboratorio.
Construir a Mort me llevó al tema que estudio ahora: cómo comprobar un agente que habla como una persona real. Lo compruebo en dos ejes. La fidelidad al archivo es si una respuesta concuerda con el archivo de Heilig. La fidelidad al personaje es si suena y razona como él. Diseñé la evaluación para ambos y la estoy redactando como artículo, Faithful to the Record, Faithful to the Person? Archive and Character Fidelity in a Conversational Agent of Morton Heilig, ahora en preparación.
De los papeles de Heilig a las respuestas de Mort.
Mort está construido en torno a una base de conocimiento. Un flujo de ingesta que construí en Dify la llena a partir del archivo. Cuando un visitante habla con Mort, la conversación corre sobre Estuary, el marco de código abierto del laboratorio para agentes conversacionales en tiempo real, que consulta la base de conocimiento cada vez que una pregunta necesita el archivo. Conectar la base de conocimiento con Estuary fue trabajo conjunto de todo el laboratorio.
Del archivo a la base de conocimiento
El archivista del laboratorio digitaliza cada elemento y lo cataloga con un número de elemento de seis dígitos y su tipo de archivo. El flujo de trabajo luego dirige cada elemento según su formato. Un modelo de visión transcribe los cuadernos manuscritos y las páginas escaneadas, y describe las fotografías. A los documentos mecanografiados se les extrae el texto, y las grabaciones de audio se transcriben a partir del habla. El video nunca lo describe un modelo: el archivista escribe una descripción y un enlace para cada video.
Cada pasaje que sale de una rama lleva su número de elemento y un enlace al archivo de origen. Esto es lo que permite a Mort citar el archivo, y lo que permite a cualquiera comprobar una respuesta contra la página de la que salió. La base de conocimiento usa embeddings multimodales, así que la imagen de cada página original se guarda junto a su transcripción y la recuperación puede devolver la propia página.
Hecho por un modeloHecho por personasAutomatizado, sin modelo
La letra manuscrita de Heilig es el material más difícil. Los modelos de lenguaje multimodales hacen aquí la mayor parte de la lectura, y traen sus propios problemas. A veces un modelo rechaza una página por su filtro de contenido, por eso las páginas rechazadas pasan a un modelo de reserva. Además, su salida siempre se lee con fluidez, así que una palabra mal leída parece tan convincente como una correcta y es difícil de detectar en la corrección.
De una pregunta a una respuesta
La pregunta de un visitante llega primero a Estuary, que guarda el perfil de personaje de Mort y la memoria de la conversación. Cuando la pregunta necesita el archivo, se reescribe como una consulta de búsqueda, y la base de conocimiento devuelve los cuatro pasajes que parecen más relevantes, ordenados por similitud. Mort responde a partir de esos pasajes en primera persona y cita sus números de elemento. Cuando los pasajes no respaldan una respuesta, dice que el archivo no dice nada en lugar de rellenar el vacío.
Una pregunta que no necesita el archivo, como un saludo, se responde solo desde el perfil y la memoria. Solo las respuestas que pasan por la base de conocimiento pueden rastrearse hasta el archivo. El conocimiento de Mort termina en mayo de 1997, cuando murió Heilig, y unas salvaguardas de salida revisan cada respuesta antes de que la vea el visitante.
No necesita el archivo: respondida desde el personaje y la memoria
Fidelidad al archivo y fidelidad al personaje.
La investigación se basa en la práctica. Los problemas que siguen surgieron al construir y refinar a Mort, y la evaluación nació de ellos.
Hablar por alguien que no puede replicar
Mort habla en primera persona como un hombre que murió en 1997 y no puede corregirlo. Por esa razón los límites de lo que dice son parte del diseño. La familia de Heilig aprobó el proyecto y leerá las transcripciones del personaje, así que las personas más cercanas a él tienen voz en cómo se le hace sonar. Su conocimiento termina en mayo de 1997, así que no se le hace comentar lo que vino después. Cuando los papeles no tienen respuesta, lo dice, porque un visitante no tiene manera de distinguir un vacío rellenado de uno real. Cada respuesta que viene del archivo lleva su número de elemento, así que no se le pide al visitante que confíe en la palabra de Mort. El caso que más le importa a la evaluación, una respuesta que suena como Heilig y se aparta del registro, es el que engaña al visitante con más facilidad, y pone en boca de Heilig una opinión que quizá nunca tuvo.
Dos ejes
Cada respuesta se comprueba en dos ejes. La fidelidad al archivo pregunta si concuerda con el archivo de Heilig tal como está en las páginas originales. Se juzga afirmación por afirmación, ya que una misma respuesta puede mezclar afirmaciones respaldadas y no respaldadas. Cuando el archivo no tiene respuesta, Mort mantiene la fidelidad al archivo diciéndolo, y cuando el archivo da versiones distintas en momentos distintos, refiriendo ambas. La fidelidad al personaje pregunta si la respuesta suena y razona como Heilig tal como se muestra en sus propios escritos.
Cruzar los dos ejes da cuatro casos. El que un visitante tiene menos probabilidades de notar suena como Heilig y se aparta del registro, porque es convincente.
Fidelidad al personaje
Suena como Heilig, pero se aparta del archivo.
Fiel al archivo, y suena como Heilig.
El propio archivo puede estar equivocado. Esas respuestas se marcan aparte.
Conocimiento que Heilig no podía tener, procedente del modelo de lenguaje.
Fiel al archivo, pero no como lo diría Heilig.
Fidelidad al archivo
Una respuesta fiel que sigue siendo falsa
En una conferencia de 1994, Heilig dijo que cien mil personas murieron en el bombardeo de Bremen. Los registros publicados dan una cifra mucho menor. En términos archivísticos la conferencia es auténtica pero no fiable en este dato. Mort, fiel al registro, repite la cifra con la voz de Heilig, así que la respuesta es correcta en ambos ejes y sigue siendo falsa. Respuestas como esta se marcan como un problema de la fuente y se mantienen aparte de los fallos de Mort, siguiendo la distinción entre fidelidad a una fuente y exactitud factual.
Rastrear un fallo hasta su origen
Para encontrar de dónde viene un fallo, cada respuesta se rastrea a lo largo de una cadena desde la página original hasta la respuesta de Mort, y el fallo se asigna al primer eslabón donde algo sale mal. Las evaluaciones habituales de RAG comprueban si los pasajes recuperados son relevantes y si la respuesta los sigue. Dan la base de conocimiento por hecha, así que los fallos de cobertura y transcripción quedan fuera de ellas.
Poner a prueba a Mort
Mort se pone a prueba con un conjunto fijo de preguntas, cada una con una respuesta de referencia vinculada a números de elemento del archivo. Las preguntas van desde hechos en un solo documento hasta respuestas que necesitan varios documentos, e incluyen preguntas que el archivo no puede responder. Cada respuesta se puntúa por fidelidad a la respuesta de referencia, citas correctas, negativa correcta y fuga de conocimiento, y un segundo evaluador puntuará un subconjunto.
Las preguntas que el archivo no puede responder no son todas iguales, y cada tipo pide una respuesta distinta.
El registro no dice nadaEl archivo no tiene registro de ello.
Decir que el archivo no dice nada.
Poco precisaLa pregunta no dice qué año ni qué cuaderno.
Preguntar a cuál se refiere.
SubjetivaLo que sentía sobre personas o acontecimientos.
Ofrecer más de una lectura, o decir de quién es esa opinión.
Premisa falsaEl visitante pregunta por un trabajo que él nunca hizo.
Corregir primero la premisa.
La negativa se prueba en dos versiones con las mismas preguntas. Una negativa fría dice que no lo sabe y cierra el intercambio. Una negativa en personaje dice que el registro no dice nada, señala lo que el archivo guarda cerca y se mantiene en el registro de Heilig.
Para el personaje, se entrevista a Mort en personaje y las sesiones se registran palabra por palabra. La revisión está planeada con un psicólogo y con la familia de Heilig, que leen las transcripciones fijas siguiendo un protocolo escrito adaptado de InCharacter. El informe indicará cuántos revisores hubo, ya que la muestra es pequeña.
Primero se están corrigiendo las transcripciones de la base de conocimiento, y los resultados se publicarán después.
Una demo guionizada.
Una reproducción guionizada de cómo está diseñado el comportamiento de Mort, basada en las patentes de Heilig y su ensayo de 1955, todos documentos públicos. Para cada pregunta se consultan los documentos, y el agente responde y muestra su evidencia, corrige la pregunta, o declina y dice por qué.
Aviso. Esta es una demostración guionizada escrita para esta página. No está conectada al Immersive Archive, a Dify, a Estuary ni a ningún dato del laboratorio, y aquí no corre ningún modelo de lenguaje. Las respuestas son texto fijo que parafrasea documentos públicos. Ilustran el comportamiento previsto; no son palabras de Morton Heilig ni salida del agente real.
Preguntar
Elige una pregunta
Algunas pueden responderse a partir de los documentos y otras no.
Fuentes consultadas
Documentos: Heilig, M. L. (1955) The Cinema of the Future, Espacios; patentes de EE. UU. 2,955,156 (1960), 3,050,870 (1962) y 3,469,837 (1969). Las respuestas parafrasean esos documentos y nada más.
Mort en realidad virtual, con voz.
Hoy Mort responde en texto. En un prototipo en Slack, ya puede mostrar imágenes y video de archivo durante una conversación. El laboratorio lo está construyendo como personaje MetaHuman en realidad virtual con voz en tiempo real, para que los visitantes puedan hablar con él.
La meta mayor es un Mort que guíe a los visitantes por su propio archivo en un visor, como un documental inmersivo, con cada respuesta rastreable hasta la página de la que salió.
Resultados hasta ahora
- Un prototipo funcional de Mort en el laboratorio.
- Un artículo sobre fidelidad al archivo y fidelidad al personaje en Mort, en preparación.
- El mismo enfoque para construir una base de conocimiento a partir de un archivo se traslada a Memory Space: Chinatown AR, donde contribuyo a la base de conocimiento y al modelo de lenguaje.
Apéndice técnico: pruebas de recuperación y el ciclo de validación
Pruebas de recuperación
La recuperación se comprueba antes de puntuar las respuestas, ya que un pasaje equivocado arruina todo lo que viene después. Las pruebas previstas:
- Si vuelve el elemento correcto, y cuánto de lo que vuelve hace falta.
- Mover el pasaje correcto a distintas posiciones de la lista, para ver si la caída de precisión para los pasajes del medio descrita por Liu et al. (2024) se da en este archivo.
- Aumentar el número de pasajes mientras se siguen a la vez la exhaustividad y la calidad de la respuesta.
- Ejecutar los mismos ajustes en un segundo archivo, para separar el modelo de esta colección.
La búsqueda por similitud no tiene noción de lo buena que es una fuente. Una patente y una nota escrita veinte años después pueden parecer lo mismo para el recuperador, así que el plan es etiquetar los elementos por tipo de fuente y dejar que una patente se sitúe por encima de un recuerdo tardío.
Revisión del personaje
La revisión puntúa estilo lingüístico, conocimiento, personalidad y forma de pensar, las dimensiones usadas para agentes de interpretación de personajes, y añade dos para una figura histórica construida a partir de un archivo: cómo maneja Mort el desacuerdo, y qué hace cuando el archivo se agota. El método de entrevista viene de InCharacter, que se validó con personajes de ficción y etiquetas de personalidad obtenidas por colaboración abierta. Para Heilig la referencia es su propia escritura y el juicio de quienes lo conocieron: evidencia más sólida, de una muestra mucho más pequeña.
Un ciclo de validación
- Congelar una compilación, con todos los ajustes fijados.
- Ejecutar el conjunto fijo de preguntas, con ambas versiones de la negativa.
- Etiquetar cada respuesta en ambos ejes.
- Rastrear cada fallo hasta su eslabón en la cadena.
- Registrar los ajustes, puntuaciones, etiquetas de fallo y notas de los revisores junto con la compilación.
Después cambiar una sola variable y empezar el siguiente ciclo, para que la diferencia entre dos ejecuciones tenga una única causa.
Transcripción
Los modelos de distintos proveedores transcriben la misma página de forma distinta, una razón más para que cada página se corrija contra el original.