Descubrieron que el sistema de IA que examinaron expresa el significado de las palabras de una manera que se parece mucho al juicio humano.
Los modelos de procesamiento de lenguaje natural utilizan estadísticas para recopilar una gran cantidad de información sobre el significado de las palabras.
En «A través del espejo», Humpty Dumpty dice con desdén: «Cuando uso una palabra, significa exactamente lo que elijo que signifique, ni más ni menos». Alice responde: «La pregunta es si puedes hacer que las palabras signifiquen tantas cosas diferentes».
El significado de las palabras ha sido durante mucho tiempo objeto de investigación. Para comprender su significado, la mente humana debe sortear una compleja red de información flexible y detallada.
Ahora ha surgido un problema más reciente con el significado de las palabras. Los investigadores están investigando si las máquinas con inteligencia artificial podrían imitar los procesos de pensamiento humanos y comprender las palabras de la misma manera. Investigadores de UCLA, MIT y los Institutos Nacionales de Salud acaban de publicar un estudio que responde a esta pregunta.
El estudio, publicado en la revista Naturaleza Comportamiento humano, demuestra que los sistemas de inteligencia artificial realmente pueden captar significados de palabras muy complejos. Los investigadores también encontraron un método simple para acceder a esta información sofisticada. Descubrieron que el sistema de IA que examinaron representa el significado de las palabras de una manera que se parece mucho al juicio humano.
El sistema de IA explorado por los autores se ha utilizado ampliamente para analizar el significado de las palabras durante la última década. Capta el significado de las palabras «leyendo» enormes cantidades de material en Internet, que contiene decenas de miles de millones de palabras.
Una representación de proyección semántica, que puede determinar la similitud entre dos palabras en un contexto específico. Esta cuadrícula muestra cuán similares son algunos animales según su tamaño. Crédito: Idan Blank/UCLA
Cuando las palabras aparecen juntas con frecuencia – «mesa» y «silla», por ejemplo – el sistema aprende que sus significados están relacionados. Y si los pares de palabras rara vez aparecen juntos, como «mesa» y «planeta», aprende que tienen significados muy diferentes.
Este enfoque parece un punto de partida lógico, pero considere qué tan bien los humanos entenderían el mundo si la única forma de entender el significado fuera contar con qué frecuencia las palabras ocurren una al lado de la otra, sin la capacidad de interactuar con los demás y nuestro entorno.
Idan Blank, profesor asistente de psicología y lingüística en la UCLA y coautor principal del estudio, dijo que los investigadores buscaron averiguar qué sabe el sistema sobre las palabras que aprende y qué tipo de «buen sentido» posee.
Antes de que comenzara la búsqueda, dijo Blank, el sistema parecía tener una limitación importante: «En lo que respecta al sistema, cada dos palabras solo tienen un valor numérico que representa cuán similares son».
Por el contrario, el conocimiento humano es mucho más detallado y complejo.
“Considere nuestro conocimiento de delfines y caimanes”, dijo Blank. “Cuando comparamos los dos en una escala de tamaño, de ‘pequeño’ a ‘grande’, son relativamente similares. En términos de inteligencia, son algo diferentes. En términos de cuán peligrosos son para nosotros, en una escala de ‘seguros’ a ‘peligrosos’, difieren mucho. Así, el significado de una palabra depende del contexto.
«Queríamos preguntar si este sistema realmente conoce estas diferencias sutiles, si su idea de similitud es flexible de la misma manera que lo es para los humanos».
Para averiguarlo, los autores han desarrollado una técnica que denominan «proyección semántica». Uno puede dibujar una línea entre las representaciones del modelo de las palabras «grande» y «pequeño», por ejemplo, y ver dónde caen las representaciones de los diferentes animales en esa línea.
Con este método, los científicos estudiaron grupos de 52 palabras para ver si el sistema podía aprender a clasificar los significados, como juzgar a los animales por su tamaño o cuán peligrosos son para los humanos, o clasificar los estados de EE. UU. por clima o riqueza general.
Otros grupos de palabras incluían términos relacionados con la ropa, las profesiones, los deportes, las criaturas mitológicas y los nombres de pila. A cada categoría se le asignaron varios contextos o dimensiones: tamaño, peligro, inteligencia, edad y velocidad, por ejemplo.
Los investigadores descubrieron que, en todos estos objetos y contextos, su método demostró ser muy similar a la intuición humana. (Para hacer esta comparación, los investigadores también pidieron a cohortes de 25 personas cada una que hiciera calificaciones similares en cada uno de los grupos de 52 palabras).
Sorprendentemente, el sistema aprendió a percibir que los nombres «Betty» y «George» son similares en términos de ser relativamente «antiguos», pero representan diferentes géneros. Y que el ‘levantamiento de pesas’ y la ‘esgrima’ son similares en el sentido de que ambos generalmente se llevan a cabo en interiores, pero difieren en la cantidad de inteligencia que requieren.
«Es un método tan simple y completamente intuitivo», dijo Blank. «La línea entre ‘grande’ y ‘pequeño’ es como una escala mental, y colocamos a los animales en esa escala».
Blank dijo que no esperaba que la técnica funcionara, pero se emocionó cuando lo hizo.
“Resulta que este sistema de aprendizaje automático es mucho más inteligente de lo que pensábamos; contiene formas de conocimiento muy complejas, y ese conocimiento está organizado en una estructura muy intuitiva”, dijo. «Solo haciendo un seguimiento de las palabras que coexisten en el idioma, puedes aprender mucho sobre el mundo».
Referencia: «La proyección semántica recupera el rico conocimiento humano de múltiples características de objetos a partir de incorporaciones de palabras» por Gabriel Grand, Idan Asher Blank, Francisco Pereira y Evelina Fedorenko, 14 de abril de 2022, Comportamiento humano natural.
DOI: 10.1038/s41562-022-01316-8
El estudio fue financiado por la Oficina del Director de Inteligencia Nacional, Actividad de Proyectos de Investigación de Inteligencia Avanzada a través del Laboratorio de Investigación de la Fuerza Aérea.