Entendendo o uso de LLM nos cuidados pediátricos

Modelos de Linguagem Grandes (LLMs) são programas de computador que aprendem com um monte de textos. O objetivo deles é entender a linguagem de um jeito parecido com os humanos. Eles conseguem receber diferentes tipos de entrada e responder de um jeito que parece humano. Desde o lançamento do ChatGPT em novembro de 2022, os LLMs têm sido muito usados em várias áreas, incluindo trabalho e educação. Mas, tem questões importantes sobre o uso responsável e ético deles. Essas preocupações surgem porque os LLMs costumam não explicar claramente como funcionam e às vezes são usados sem Diretrizes certas nos locais de trabalho.

Os LLMs oferecem vários benefícios em áreas diversas, como melhorar a eficiência em tarefas na saúde e pesquisa. Mas, também trazem desafios, especialmente em relação à Privacidade médica, Precisão das informações, preconceitos e falta de responsabilidade nas decisões que tomam.

#Nosso Estudo

O Melbourne Children’s Campus é um grande hospital acadêmico e centro de pesquisa focado em cuidados pediátricos. Enquanto muitos funcionários e estudantes pareciam usar LLMs para diferentes trabalhos, não havia evidência sólida de quão frequentemente e de que formas eles eram usados. A gente queria descobrir quão familiar as pessoas estavam com os LLMs, como estavam usando e o que pensavam sobre essas ferramentas. Também queríamos ver se havia diferenças entre cuidado clínico, pesquisa e ensino no que diz respeito ao uso de LLMs.

O Campus tem um hospital pediátrico com mais de 6000 funcionários e 350 leitos, além de um instituto de pesquisa médica que emprega mais de 1800 pesquisadores trabalhando em várias questões de saúde infantil. Também tem 70 membros da equipe acadêmica no departamento da universidade, junto com muitos outros envolvidos em pesquisa e funções de apoio. No total, cerca de 7500 pessoas estão associadas ao Campus.

#Abordagem da Pesquisa

Para coletar insights da nossa comunidade do Campus, usamos um método chamado teoria fundamentada. Enviamos uma pesquisa para todos os funcionários e estudantes para coletar informações sobre como estavam usando LLMs atualmente e suas opiniões sobre usos futuros, oportunidades e riscos. A maioria das perguntas era aberta, permitindo respostas detalhadas. Seguímos diretrizes para garantir a correta divulgação dos nossos achados.

Os pesquisadores que projetaram e analisaram a pesquisa incluíam um grupo diversificado de profissionais, como pesquisadores, clínicos, especialistas em dados e membros que representam as opiniões do consumidor na saúde infantil. Qualquer pessoa associada ao Campus foi convidada a participar, incluindo pessoal clínico, pesquisadores e equipe de apoio.

#Design e Distribuição da Pesquisa

A pesquisa foi desenvolvida por meio de discussões dentro do nosso Grupo de Trabalho. Ela foi testada e aprimorada até que todos ficassem satisfeitos. Usamos uma plataforma online para distribuir a pesquisa, alcançando cerca de 1000 funcionários clínicos, 1800 pesquisadores e 100 estudantes. A pesquisa ficou aberta por quatro semanas.

#Análise de Dados

Tomamos medidas para garantir a privacidade ao processar os dados da pesquisa, removendo informações que pudessem identificar os participantes. Usamos o Microsoft Excel para análise estatística e aplicamos técnicas de análise qualitativa para as respostas abertas. Dois pesquisadores participaram da codificação das respostas e na identificação de temas.

#Resumo das Respostas

No total, recebemos 281 respostas. Muitos dos respondentes trabalhavam no hospital, enquanto outros estavam afiliados ao instituto de pesquisa ou ao departamento da universidade. Mais da metade dos participantes tinha funções clínicas, e a maioria se identificou como profissionais experientes.

Os resultados da pesquisa mostraram que mais de 90% dos respondentes estavam familiarizados com as ferramentas LLM, sendo o ChatGPT o mais comum. Cerca de 64% relataram usar LLMs em seu trabalho. Muitos também mencionaram que já tinham ouvido falar dos LLMs, mas não os tinham usado.

#Usos Atuais e Potenciais dos LLMs

Os respondentes notaram uma ampla gama de usos para os LLMs em seu trabalho. Muitas pessoas relataram usar LLMs para gerar ou editar textos. Outros usos incluíam obter ajuda com ideias e programação, gerenciar dados e obter informações. No entanto, alguns respondentes relataram não usar LLMs atualmente.

Olhando para o futuro, muitos respondentes esperavam usar LLMs mais para criar textos, apoiar decisões clínicas, analisar dados e desenvolver materiais educacionais.

#Oportunidades e Riscos Associados aos LLMs

A principal oportunidade identificada foi o aumento da eficiência em tarefas, como economizar tempo e recursos. Alguns respondentes acreditavam que os LLMs poderiam melhorar a qualidade do trabalho deles. Porém, também havia preocupações significativas, especialmente em relação à privacidade, segurança e precisão das informações geradas.

Muitos riscos identificados incluíam a possibilidade de violar a privacidade, questões de propriedade intelectual e a potencial redução da confiança na saúde e na pesquisa. Preocupações sobre baixa precisão e qualidade dos resultados dos LLMs também foram comuns. Alguns em funções de ensino temiam que os LLMs pudessem fornecer resultados de menor qualidade.

Outros riscos menos comuns incluíam a possibilidade de mau uso dos resultados dos LLMs e a falta de transparência em seu uso. As opiniões diferentes sobre o potencial dos LLMs destacam a necessidade de mais treinamento e diretrizes claras.

#Principais Descobertas

Da pesquisa, aprendemos que a maioria dos respondentes está ciente das ferramentas LLM e as usou para várias tarefas. Os respondentes expressaram que os LLMs podem melhorar a eficiência; no entanto, muitos reconheceram riscos potenciais, como violações de privacidade e questões de precisão.

Alguns respondentes podem não estar cientes dos riscos associados ao compartilhamento de informações privadas ou ao uso de LLMs sem verificar sua confiabilidade. Essa descoberta destaca a necessidade de diretrizes mais claras e treinamento eficaz para os usuários.

Também descobrimos que os desafios mencionados pelos respondentes são semelhantes aos encontrados na literatura existente sobre LLMs em vários contextos educacionais e de pesquisa.

#Recomendações para Uso de LLMs

Dado o uso generalizado de LLMs em nosso Campus e o potencial tanto para benefícios quanto para riscos, é crucial estabelecer diretrizes e Treinamentos adequados para seu uso. Acreditamos que proibir LLMs em certas áreas não é prático, já que eles estão integrados em muitos fluxos de trabalho.

Incentivar os membros da equipe a explorar a tecnologia LLM enquanto mantém a transparência e a governança é essencial. O treinamento deve focar no uso eficaz dos LLMs, ensinando os usuários a avaliar a qualidade dos resultados e usá-los de forma ética e responsável.

Os insights da nossa pesquisa também podem informar regulamentações governamentais sobre o uso de IA, garantindo que sejam relevantes para o cenário tecnológico em evolução na saúde.

#Considerações Futuras

Embora nosso estudo reflita opiniões e usos atuais dos LLMs, é essencial lembrar que essas ferramentas estão em constante mudança. As respostas representam um momento das opiniões, que podem mudar com o tempo, tornando necessário revisitar essas descobertas regularmente.

Outras instituições podem replicar nosso estudo para entender o uso de LLMs em seus contextos e desenvolver diretrizes específicas. Esse trabalho contínuo ajudará a garantir que as ferramentas LLM sejam usadas de forma eficaz e ética em vários ambientes acadêmicos e clínicos.

#Conclusão

Resumindo, nossa pesquisa destaca que os LLMs são amplamente usados em nosso Campus para várias finalidades. Embora muitos vejam o potencial para melhorar a eficiência e outros benefícios, há uma clara necessidade de melhor governança e treinamento para lidar com os riscos associados ao seu uso. As descobertas deste estudo informarão nossas estratégias futuras para gerenciar as aplicações de LLM de forma responsável.