Aprovechando los LLMs para el pensamiento creativo
Un estudio sobre cómo los LLMs pueden ayudar en la resolución creativa de problemas a través de analogías.
― 6 minilectura
Tabla de contenidos
La creatividad es una habilidad clave que ayuda a la gente a resolver problemas y a tener nuevas ideas. Una manera en que las personas pueden ser creativas es a través del Razonamiento Analógico, que significa encontrar conexiones entre diferentes situaciones o conceptos. Esto puede ser un reto para muchos, especialmente cuando intentan conectar ideas de campos muy distintos, como la ciencia y el arte. Recientemente, a los investigadores les ha interesado cómo los modelos de lenguaje grande (LLMs), como GPT-3, pueden ayudar a la gente a crear analogías que podrían servir en su trabajo creativo.
El Reto del Razonamiento Analógico Interdisciplinario
El razonamiento analógico interdisciplinario se refiere a la capacidad de encontrar similitudes profundas entre diferentes situaciones que pueden parecer muy distintas a simple vista. Por ejemplo, alguien podría comparar el sistema solar con un átomo porque ambos tienen una masa central rodeada de cuerpos más pequeños, aunque difieren mucho en tamaño y otras características. Este tipo de razonamiento suele ser una fuente de ideas creativas, permitiendo a las personas replantear problemas de maneras frescas.
Sin embargo, la gente tiende a pensar en similitudes basadas en características superficiales, lo que les lleva a perder analogías útiles de diferentes dominios. Por ejemplo, al intentar resolver un problema sobre tratamiento de radiación, alguien puede concentrarse en analogías relacionadas con el cáncer o temas médicos, pasando por alto ejemplos útiles de áreas completamente distintas.
Con los LLMs, hay potencial para generar nuevas y únicas analogías que podrían ayudar a las personas a saltarse sus patrones de pensamiento habituales y considerar nuevas perspectivas. Estos modelos pueden producir texto basado en indicaciones y generar analogías que son semánticamente distantes de los problemas en cuestión.
Qué Investigación Se Ha Hecho
Aunque algunos estudios han mostrado que los LLMs pueden generar analogías útiles, no ha habido mucha investigación sistemática sobre cuán efectivas son estas analogías en tareas creativas reales. Los investigadores se propusieron investigar cómo las analogías generadas por LLM pueden ayudar a reformular problemas. Querían averiguar si las personas podían usar estas analogías en sus procesos creativos y cuán efectivas eran al hacerlo.
La investigación involucró varios pasos y estudios. Primero, el equipo creó indicaciones para generar analogías usando LLMs. Luego, probaron cómo las personas valoraban estas analogías en términos de ayuda al reformular problemas. Finalmente, también investigaron si alguna de las analogías generadas tenía contenido dañino o desagradable.
Generando Analogías con LLMs
Para empezar, los investigadores desarrollaron indicaciones estructuradas que guiaron al LLM en la creación de analogías. Su objetivo era producir analogías únicas para problemas de diseño específicos. Se generaron un total de 480 analogías a través de varios problemas utilizando diferentes técnicas de indicación.
A través de este proceso, descubrieron que alrededor del 70% de las analogías producidas eran únicas y potencialmente útiles para la reformulación de problemas. Esto fue un comienzo prometedor, mostrando que los LLMs podrían proporcionar material valioso para tareas creativas.
Estudio 1: Evaluando la Utilidad en Tareas Creativas
En el primer estudio, los investigadores se centraron en cómo los participantes usaban analogías generadas por LLM en una tarea de reformulación de problemas. Se pidió a los participantes que generaran enunciados de problemas originales y luego usaran analogías generadas por LLM para reformular sus problemas.
Los participantes valoraron las analogías en una escala del 1 al 5 en cuanto a su utilidad después de usarlas. Los resultados mostraron una calificación media de 4 de 5, indicando que la mayoría de los participantes encontró las analogías útiles. Notablemente, los participantes valoraron la segunda analogía en su tarea aún más alta que la primera, sugiriendo que las personas pueden volverse más cómodas y hábiles al utilizar analogías a medida que se involucran más en la tarea.
Además, los investigadores encontraron que la mayoría de los participantes (alrededor del 80%) usaron exitosamente las analogías para reformular sus problemas originales. Las analogías a menudo llevaron a los participantes a pensar en nuevos ángulos, agregar nuevos elementos a sus enunciados de problemas, o incluso rechazar suposiciones previas sobre sus problemas.
Tipos de Reformulación
El equipo de investigación codificó las respuestas de los participantes para ver cómo utilizaban las analogías. Buscaron dos tipos de acciones: agregar nueva información o rechazar ideas anteriores. Los resultados mostraron que muchos participantes añadieron nuevos conceptos a sus enunciados originales.
Por ejemplo, un participante reformuló un problema sobre viajes para personas con movilidad reducida incorporando nuevos interesados y contextos, profundizando su comprensión del problema en cuestión.
Estudio 2: Posibles Riesgos de las Analogías Generadas
En el segundo estudio, los investigadores estaban preocupados por la posible toxicidad o daño de las analogías generadas. Esto era importante de examinar porque si las analogías generadas por LLM contenían contenido sesgado o desagradable, podría limitar su uso en tareas creativas.
Cinco evaluadores analizaron las analogías para determinar si contenían elementos dañinos. Identificaron tres categorías principales: representaciones sesgadas, acciones ilegales y situaciones preocupantes. Los evaluadores marcaron 28 de las 108 analogías como potencialmente dañinas.
La mayoría de las analogías marcadas estaban relacionadas con contenido preocupante, como situaciones difíciles de vida o temas sensibles. Aunque los investigadores descubrieron algunos sesgos, la gran mayoría de las analogías marcadas no entraron en esa categoría.
Conclusión
Los resultados de estos estudios destacan los beneficios y riesgos potenciales de usar analogías generadas por LLM en procesos creativos. Por un lado, los LLM pueden producir una gran cantidad de analogías únicas y útiles que pueden ayudar a las personas a reformular sus problemas y generar nuevas ideas. Por otro lado, existe el riesgo de que parte del contenido generado pueda ser dañino o inquietante, lo que necesita ser considerado con cuidado.
Estos hallazgos sugieren que los LLM pueden potenciar la creatividad, pero los modelos deben usarse con precaución, y los investigadores deben trabajar en productos que minimicen salidas dañinas. Más investigación puede explorar cómo refinar los LLM para aumentar su utilidad mientras se reducen los riesgos, junto con probar formas adicionales de integrar estas herramientas en diversas prácticas creativas.
En resumen, los LLM tienen el potencial de ser poderosos aliados en el proceso creativo, especialmente en generar analogías que unan dominios diversos. Esta capacidad puede ayudar a romper bloqueos creativos y mejorar las habilidades de resolución de problemas. Sin embargo, es crucial abordar los desafíos de contenido dañino de manera responsable a medida que estas tecnologías continúan evolucionando y expandiéndose.
Título: Fluid Transformers and Creative Analogies: Exploring Large Language Models' Capacity for Augmenting Cross-Domain Analogical Creativity
Resumen: Cross-domain analogical reasoning is a core creative ability that can be challenging for humans. Recent work has shown some proofs-of concept of Large language Models' (LLMs) ability to generate cross-domain analogies. However, the reliability and potential usefulness of this capacity for augmenting human creative work has received little systematic exploration. In this paper, we systematically explore LLMs capacity to augment cross-domain analogical reasoning. Across three studies, we found: 1) LLM-generated cross-domain analogies were frequently judged as helpful in the context of a problem reformulation task (median 4 out of 5 helpfulness rating), and frequently (~80% of cases) led to observable changes in problem formulations, and 2) there was an upper bound of 25% of outputs bring rated as potentially harmful, with a majority due to potentially upsetting content, rather than biased or toxic content. These results demonstrate the potential utility -- and risks -- of LLMs for augmenting cross-domain analogical creativity.
Autores: Zijian Ding, Arvind Srinivasan, Stephen MacNeil, Joel Chan
Última actualización: 2023-06-01 00:00:00
Idioma: English
Fuente URL: https://arxiv.org/abs/2302.12832
Fuente PDF: https://arxiv.org/pdf/2302.12832
Licencia: https://creativecommons.org/licenses/by/4.0/
Cambios: Este resumen se ha elaborado con la ayuda de AI y puede contener imprecisiones. Para obtener información precisa, consulte los documentos originales enlazados aquí.
Gracias a arxiv por el uso de su interoperabilidad de acceso abierto.
Enlaces de referencia
- https://www.regie.ai/
- https://www.copy.ai/
- https://writer.com/
- https://www.compose.ai/
- https://chat.openai.com/chat
- https://github.com/features/copilot
- https://www.prolific.co/
- https://help.openai.com/en/articles/6779149-how-do-text-davinci-002-and-text-davinci-003-differ
- https://www.nltk.org/
- https://www.sbert.net/
- https://www.perspectiveapi.com/
- https://dl.acm.org/ccs.cfm