A IA pode substituir humanos na extração de conhecimento?

Conhecimento procedural é tudo sobre saber como fazer as coisas. Pense nisso como seguir uma receita pra assar um bolo: você precisa conhecer os passos, os ingredientes e como combiná-los pra ter um resultado delicioso. No mundo digital, representar esse tipo de conhecimento pode ser complicado. É aí que entram os gráficos de conhecimento procedimental (PKGs), funcionando como um mapa que mostra os passos necessários pra completar uma tarefa de uma forma clara e organizada.

#O que são Gráficos de Conhecimento?

Imagina que seu cérebro é uma rede de ideias interconectadas. Gráficos de conhecimento são assim, mas no computador. Eles conectam diferentes pedaços de informação através de nós (como pontos em um mapa) e arestas (as linhas que os conectam). Cada nó pode representar qualquer coisa, desde um passo numa receita até as ferramentas necessárias pra completar uma tarefa.

Então, se você quer entender como consertar aquela porta rangendo, um gráfico de conhecimento vai mostrar tudo que você precisa, incluindo os passos, as ferramentas e até quanto tempo pode levar.

#O Desafio do Conhecimento Procedural

Extrair conhecimento de um texto apresenta um desafio único. Procedimentos são frequentemente descritos em linguagem natural, que pode ser bagunçada e ambígua. A instrução clara de uma pessoa pode ser um enigma confuso pra outra.

Vamos dizer que você tá lendo um manual de manutenção que diz: "Certifique-se de apertar os parafusos." O que "apertar" significa? Deveria usar uma chave ou uma chave de fenda? Quão apertado é "apertado"? Essa vaguidade dificulta tirar os passos necessários pra um gráfico de conhecimento.

#O Papel dos Grandes Modelos de Linguagem

Grandes Modelos de Linguagem (LLMs) são ferramentas bem legais projetadas pra analisar e gerar texto. Eles são como assistentes super inteligentes que conseguem ler toneladas de informação rapidinho. Quando se trata de extrair conhecimento procedural, eles conseguem filtrar o texto e identificar passos e ações-chave, tornando o processo de construir um gráfico de conhecimento mais eficiente.

Mas será que os LLMs conseguem realmente substituir anotadores humanos? Essa é a pergunta do milhão!

#Perguntas de Pesquisa

Pra explorar isso, surgem várias perguntas:

• Os LLMs conseguem substituir humanos na criação de um gráfico de conhecimento procedural a partir de texto?
• Como as pessoas percebem a qualidade dos resultados produzidos pelos LLMs?
• Os resultados extraídos pelos LLMs são úteis quando se trata de seguir os passos de um procedimento?
• Os humanos pensam diferente sobre o trabalho produzido pelos LLMs em comparação a outros humanos?

#Testando as Águas: Experimentos Preliminares

Antes de entrar nos experimentos principais, foram feitos alguns testes preliminares. Esses experimentos iniciais mostraram uma mistura de resultados. Diferentes pessoas interpretaram o mesmo procedimento de maneiras variadas, levando a desentendimentos sobre quais eram os passos de fato. Parece uma discussão em família sobre como fazer o molho de espaguete perfeito, né?

Os humanos costumavam adicionar seu toque, mudando a redação ou até sugerindo passos extras que não estavam no texto original. Enquanto isso, os LLMs tendiam a seguir o script de perto, produzindo resultados baseados em interpretações rigorosas.

#O Processo de Prompting

Criar prompts pros LLMs é uma parte crucial dessa experimentação. Um prompt é só uma forma chique de dizer, "Aqui está o que eu quero que você faça." Por exemplo, você pode pedir pra um LLM extrair passos de uma receita de comida ou de um procedimento de manutenção.

Nesse caso, dois prompts foram testados:

1. Gerar uma saída semiestruturada descrevendo os passos, ações, ferramentas e qualquer tempo envolvido.
2. Transformar essa saída em um gráfico de conhecimento formal, usando uma ontologia específica (uma estrutura organizada pra classificar informações).

Essa abordagem em duas etapas permitiu que o LLM tivesse tempo e produzisse resultados mais claros.

#O Ambiente Experimental

No estudo principal, os participantes receberam tarefas pra avaliar as anotações produzidas tanto pelos LLMs quanto pelos anotações humanas. Cada avaliador pôde ver os procedimentos originais e o conhecimento semiestruturado que foi extraído.

Havia dois grupos de avaliadores: um que acreditava que a saída era de um humano e outro que sabia que era de um LLM. Esse truque legal permitiu que os pesquisadores vissem se as pessoas julgavam os resultados de forma diferente dependendo de acharem que um humano ou uma máquina fez o trabalho.

#Avaliando os Resultados

Quando as avaliações chegaram, era hora da parte divertida-analisar os resultados! Avaliadores humanos classificaram a qualidade das saídas, tanto dos LLMs quanto dos anotações humanas. Os resultados mostraram que, em geral, as pessoas achavam que as saídas dos LLMs eram decentes, mas estavam um pouco céticas sobre quão úteis elas realmente eram em situações práticas.

#O Debate sobre Qualidade e Utilidade

Quando se tratou de qualidade, a maioria dos avaliadores classificou o conhecimento gerado pelos LLMs como bastante preciso. No entanto, quando perguntados sobre sua utilidade, as pontuações caíram. Parece que, embora os LLMs fizessem um bom trabalho seguindo direções, as pessoas não estavam totalmente convencidas de que os resultados eram tão práticos ou úteis quanto deveriam.

Os avaliadores também expressaram um Viés contra os LLMs, talvez devido a ideias preconcebidas sobre o que as máquinas podem e não podem fazer. É um caso clássico de humanos esperando perfeição de seus semelhantes enquanto têm padrões diferentes pras máquinas.

#O que Aprendemos?

Então, qual é a lição de toda essa pesquisa?

1. Os LLMs conseguem extrair conhecimento procedural com uma quantidade razoável de qualidade, muitas vezes comparável à dos anotadores humanos.
2. Há um ceticismo notável sobre quão útil o conhecimento extraído é em aplicações do dia a dia.
3. Existe viés; os avaliadores podem inconscientemente julgar as saídas dos LLMs de forma mais severa do que as saídas humanas.

#O Caminho à Frente

Olhando pro futuro, tem muito a explorar! A pesquisa espera ampliar a avaliação, lidando com procedimentos mais complexos, de tarefas industriais a chores diárias. Também há a possibilidade de juntar a criatividade humana com a eficiência dos LLMs pra melhorar os resultados gerais.

O que acontece quando alimentamos os LLMs com conjuntos de treinamento mais diversos? Eles conseguem aprender a ser mais intuitivos? Eles têm a oportunidade de evoluir como os humanos?

#Uma Conclusão Divertida

Num mundo onde a tecnologia tá evoluindo rapidamente, a exploração da extração de conhecimento procedural tá só começando. A jornada de misturar a percepção humana com as capacidades da máquina é como fazer uma nova receita de bolo; requer a mistura certa de ingredientes, paciência e uma pitada de humor!

Afinal, quem não gostaria de um assistente digital que possa ajudá-lo a consertar aquela porta rangendo enquanto também lembra você de dar uma pausa e aproveitar um pedaço de bolo?