Evaluando Tamaños de Grupos a Través de Comparación de Datos

Comparar el número de diferentes grupos, como astronautas frente a ganadores del Premio Nobel de Física, no es fácil. A menudo requiere algo de suposición porque Fuentes como páginas web y bases de datos no suelen dar respuestas directas. Por ejemplo, en lugar de decir directamente cuál grupo es más grande, pueden dar números que son incorrectos o difíciles de encontrar. Esto lleva a preguntas como “¿Hay más centrales nucleares o catedrales católicas?” o “¿Hay más lagos o ríos?” Estas preguntas pueden ser divertidas para pensar, pero a menudo son realmente difíciles de responder.

Para hacer estas comparaciones, los investigadores han examinado datos de diferentes fuentes en línea. Buscan números que representen cuántos elementos hay en cada grupo o clase. Recopilaron datos de tres fuentes principales: una base de conocimiento como Wikidata, resultados de motores de búsqueda y modelos de lenguaje como GPT-3. Estas diferentes fuentes ofrecen diversas perspectivas sobre cuántos elementos pertenecen a cada clase, lo que puede ayudar a obtener respuestas más fiables.

#Desafíos para encontrar números precisos

Al buscar números, es fácil encontrar información engañosa o inexacta. Por ejemplo, algunas fuentes pueden afirmar que hay más de 400,000 ríos y alrededor de 23,000 castillos. En realidad, las Estimaciones dicen que hay más cerca de 300,000 ríos, pero el número de castillos es mucho más difícil de precisar, con estimaciones solo para Europa que oscilan entre 400,000 y 1.3 millones. Los motores de búsqueda, cuando se les pregunta sobre estos números, a menudo producen resultados extraños o contradictorios, sugiriendo que hay significativamente menos castillos que ríos a pesar de los hechos.

Incluso los modelos de lenguaje avanzados, que están diseñados para responder preguntas bien, pueden estar bastante desviados. Por ejemplo, cuando se les preguntó sobre el número de ríos, GPT-3 afirmó que había alrededor de 1.3 millones, y para castillos, dijo que solo había 900. Esto muestra que incluso las fuentes en línea populares pueden estar lejos de ser precisas.

#Lo que la gente hace para encontrar respuestas

A veces los humanos pueden usar su juicio para encontrar mejores respuestas al comparar Clases. Podrían empezar accediendo a varias fuentes en línea, eligiendo solo las mejores pistas y combinando estas pistas para obtener números más realistas. Enrico Fermi, un físico famoso, era conocido por hacer estimaciones rápidas con información limitada. Así, la tarea de estimar el tamaño de dos grupos a veces se llama un Problema de Fermi.

El método que proponen los investigadores busca imitar este proceso inteligente humano. Reúnen diferentes tipos de Señales de fuentes en línea y encuentran formas de mejorar estas señales al observar subgrupos relacionados con cada clase. Al hacer esto, esperan hacer mejores predicciones sobre qué clase tiene más elementos en el mundo real.

#El proceso de investigación

El enfoque de esta investigación se centra en un tipo específico de pregunta: ¿qué clase tiene más miembros? Para encontrar respuestas, los investigadores recopilaron señales de tres fuentes: Wikidata, motores de búsqueda y modelos de lenguaje. Comenzaron con los números que estas fuentes proporcionaron y luego los analizaron ya que esos números a menudo son erróneos, utilizándolos solo como pistas para una mejor comprensión.

Una idea clave es observar también grupos más pequeños dentro de cada clase. Por ejemplo, en lugar de mirar solo a todos los actores, podrían mirar a los actores por país o región. Esta información adicional puede proporcionar mejores estimaciones, especialmente al comparar grupos más grandes.

#Combinando información para mejores estimaciones

Para hacer mejores predicciones, los investigadores combinaron información de diferentes fuentes. Agruparon las señales de subgrupos primero, luego incluyeron la información de los grupos principales y finalmente mezclaron todos los datos. Al organizar su enfoque en múltiples capas, buscaban lograr comparaciones más precisas.

Crearon un conjunto de datos con varios pares de clases para evaluar sus técnicas. Al comparar múltiples pares de clases en diferentes temas, aprendieron qué tan bien funcionaba su método y probaron su Precisión.

#Hallazgos y resultados

Cuando evaluaron el rendimiento de su método frente a las conjeturas humanas, encontraron que usar señales de todas las fuentes juntas era útil. El método combinado logró más del 80% de precisión en comparación con las fuentes individuales, lo que mostró que fusionar información tiende a arrojar resultados más fiables.

Los investigadores también se enfocaron en los sesgos en los datos. Por ejemplo, las bases de conocimiento ampliamente utilizadas como Wikipedia a veces pueden omitir ciertos grupos o tener una representación desequilibrada debido a diversas razones, como métodos de recogida de datos. Por lo tanto, enfatizaron la importancia de seleccionar fuentes diversas para contrarrestar estos sesgos.

#Rendimiento en diferentes dominios

A partir de su análisis, los investigadores encontraron que ninguna fuente única fue la mejor para cada situación. Descubrieron que una mezcla de fuentes funcionaba mejor, y confiar en la mejor fuente para cada tema resultaba constantemente en una precisión superior al 77%. Para objetos comunes, como bicicletas o smartphones, el motor de búsqueda y los modelos de lenguaje funcionaron bien. Sin embargo, la base de conocimiento sobresalió cuando se trataba de datos geográficos.

A pesar de que modelos de lenguaje avanzados como GPT-3 generalmente proporcionaban respuestas sólidas, a veces fallaban cuando se trataba de comparaciones directas. Por ejemplo, una búsqueda sobre si hay más ríos o lagos llevó a respuestas irrelevantes, mientras que GPT-3 dio una respuesta aparentemente clara que resultó ser incorrecta.

#Conclusión y direcciones futuras

En este trabajo, los investigadores abordaron el desafío de determinar el tamaño de dos clases en la vida real utilizando señales de varias fuentes de información. Enfatizaron la importancia de combinar datos de subgrupos y diferentes fuentes para mejores estimaciones. Los experimentos mostraron que mezclar estas señales llevó a mejor precisión y redujo la posibilidad de hacer conjeturas incorrectas.

Investigaciones futuras pueden construir sobre estas técnicas refinando el proceso de recolección de señales, abordando sesgos aún más y explorando fuentes de datos adicionales. A través de esfuerzos continuos, el objetivo es mejorar la forma en que respondemos a preguntas intrigantes sobre el mundo que nos rodea.