Examinando a Verdade das Afirmativas Médicas Online

Verificar se as afirmações médicas feitas online são verdadeiras pode ser complicado. Às vezes, não tem prova disponível pra apoiar ou rejeitar essas afirmações. Quando isso acontece, a gente classifica essas afirmações como não verificáveis. Pra melhorar essa situação, precisamos entender mais sobre quais características dessas afirmações afetam a capacidade delas de serem checadas.

Nesse estudo, a gente analisou as partes principais de uma afirmação médica: as entidades (como tratamentos ou condições de saúde) e as relações entre elas (como causa ou efeito). Queremos ver se certas características dessas entidades e relações estão ligadas à possibilidade de uma afirmação ser verificada ou não.

Trabalhamos com especialistas treinados que procuraram provas apoiando várias afirmações médicas. Eles tinham um jeito específico de buscar Evidências e refinavam suas Consultas de Busca, o que nos ajudou a criar um novo conjunto de dados pra checar fatos científicos. Esse conjunto contém afirmações, documentos relacionados que servem como evidência e se a afirmação foi verificada ou não.

#Principais Descobertas

1. Desafios com Afirmações Negadas: Descobrimos que é especialmente difícil encontrar provas pra afirmações que dizem que algo não acontece, tipo “X não causa Y.”

2. Refinamento da Busca: Os especialistas costumavam melhorar suas consultas de busca tornando-as mais específicas e usando nomes padrão pra termos médicos.

3. Especialização Nem Sempre Importa: Comparamos os resultados dos nossos Anotadores especialistas com os de profissionais médicos e pessoas comuns. Surpreendentemente, ter conhecimento médico não melhorou significativamente a confiabilidade das anotações.

4. Estimando o Sucesso na Recuperação de Evidências: Descobrimos que é possível prever a chance de encontrar evidências só com base na redação da afirmação. Porém, descobrir quais afirmações não podem ser verificadas foi bem mais difícil.

#Criando o Conjunto de Dados

Pra entender melhor as características das afirmações, montamos nosso conjunto de dados analisando tweets médicos. Veja como fizemos:

1. Seleção de Afirmações: Filtramos uma grande coleção de tweets pra encontrar aqueles que continham afirmações médicas relevantes. No final, ficamos com 646 documentos que tinham afirmações pra checar.

2. Extração de Afirmações: Corrigimos erros de gramática nas afirmações extraídas pra torná-las mais fáceis de ler e entender. Assim, tivemos um total de 1.532 afirmações pra trabalhar.

3. Tarefa de Anotação: Os anotadores tinham a tarefa de verificar essas afirmações em relação às evidências científicas. Eles usaram um banco de dados chamado PubMed pra buscar artigos relacionados. Pra cada afirmação, tinham que encontrar pelo menos um artigo que apoiasse ou refutasse a afirmação.

4. Rotulando Afirmações: Com base nas evidências que encontraram, as afirmações foram rotuladas como verificáveis, não verificáveis ou parcialmente verificáveis, de acordo com a confiança deles nas evidências.

5. Processo de Refinamento: Os anotadores tinham um jeito estruturado de refinar suas consultas de busca se não conseguissem encontrar evidências de imediato. Se não conseguissem descobrir nenhuma prova depois de um certo tempo, marcavam a afirmação como não verificável.

#Importância das Características das Afirmações

Olhar pra diferentes tipos de relações e entidades nas afirmações pra ver se elas influenciam a possibilidade de verificação. Aqui está o que descobrimos:

1. Tipos de Relação: Afirmações que declaravam uma relação positiva, tipo um tratamento causando um efeito, eram mais propensas a serem verificadas em comparação com afirmações que diziam uma relação negativa.

2. Entidades Críticas: A maioria das afirmações usava Condições Médicas ou tratamentos como foco principal. Os tipos de entidades mencionadas também influenciavam a probabilidade de encontrar evidências que apoiassem.

#Descoberta de Evidências e Consultas de Busca

Queríamos ver se as entidades nas afirmações eram bons pontos de partida pra buscar evidências:

1. Eficácia das Entidades Médicas: Descobrimos que usar entidades médicas como pontos de partida pra buscas foi efetivo. Os anotadores conseguiram encontrar evidências pra 757 das 1.001 afirmações usando seus termos de busca originais.

2. Estratégias de Refinamento: Os anotadores aprimoraram suas estratégias de busca de várias formas, incluindo generalizando termos, especificando termos mais claramente e normalizando a linguagem (como usando o princípio ativo em vez do nome da marca).

#Por que Algumas Afirmações Permanecem Não Verificáveis

Das afirmações analisadas, um número significativo foi marcado como não verificável. Aqui estão algumas percepções sobre o porquê:

1. Falta de Confiança nas Evidências: Os anotadores muitas vezes se sentiam inseguros se evidências relevantes existiam pra muitas afirmações. Cerca de 54% deles estavam incertos se poderiam encontrar provas.

2. Níveis de Confiança: Um pouco menos de 20% das afirmações tinham anotadores confiantes de que evidências relevantes existiam, enquanto outros achavam que não seria provável encontrar nenhuma evidência.

#Anotação Crowdsourced e Especialização

A gente também explorou as diferenças na qualidade da anotação entre anotadores profissionais e trabalhadores de crowdsourcing:

1. Trabalhadores de Crowdsourcing: Recrutamos participantes com formações variadas- alguns eram estudantes de medicina, enquanto outros eram estudantes universitários comuns-pra verificar afirmações. Cada grupo teve a tarefa de avaliar as mesmas afirmações.

2. Pontuações de Acordo: O acordo sobre os vereditos entre os anotadores foi geralmente mais baixo nas configurações de crowdsourcing em comparação com nossa equipe treinada. Os especialistas médicos mostraram uma leve, mas não significativa, melhoria na confiabilidade.

#Recuperação de Evidências e Similaridade de Jaccard

Medimos com que frequência diferentes anotadores usavam os mesmos documentos pra apoiar suas conclusões. Aqui está o que aprendemos:

1. Similaridade de Jaccard: Essa métrica ajudou a ver com que frequência dois anotadores escolhiam a mesma evidência. Geralmente, trabalhadores de crowdsourcing concordavam mais sobre quais documentos usar em comparação com os especialistas, que tendiam a escolher suas evidências de forma mais seletiva.

2. Implicações pra Seleção de Evidências: Parece que a especialização dos anotadores influencia como eles selecionam as evidências, com especialistas sendo mais cautelosos e seletivos.

#Prevendo Verificabilidade

Usamos um modelo pra ver se conseguíamos prever se as afirmações eram verificáveis só com base na linguagem da própria afirmação. Veja o que descobrimos:

1. Desempenho do Modelo: O modelo foi muito eficaz em identificar afirmações que eram provavelmente verificáveis, com uma pontuação de .82. Porém, teve mais dificuldade com afirmações não verificáveis, recebendo uma pontuação de .27.

2. Análise de Erros: Revisamos os erros cometidos pelo modelo e descobrimos que afirmações verificáveis geralmente incluíam termos médicos específicos, enquanto afirmações não verificáveis eram geralmente mais vagas na linguagem.

#Conclusão

Essa pesquisa traz insights sobre as características que tornam as afirmações médicas verificáveis ou não. Ao analisar relações e entidades nas afirmações, estudar a qualidade da anotação entre diferentes grupos e explorar processos de recuperação de evidências, podemos entender melhor as complexidades da checagem de fatos na área médica.

Em trabalhos futuros, esperamos criar métodos melhores pra encontrar evidências, especialmente pra afirmações que expressam negações. Também planejamos estudar bancos de dados além do PubMed pela sua capacidade de fornecer evidências pra tópicos biomédicos específicos. As descobertas enfatizam a necessidade de uma análise cuidadosa das afirmações nas redes sociais pra garantir que possam ser verificadas adequadamente, o que é cada vez mais importante no ambiente rico em informação de hoje.