Observatório Keck Lança Novo Portal de Acesso a Dados

O Observatório W. M. Keck lançou um novo aplicativo web chamado Portal de Acesso a Dados para Observadores (ODAP). Essa ferramenta permite que cientistas acessem dados astronômicos quase instantaneamente, não importa onde eles estejam no mundo. Quando os dados são coletados no observatório, eles são enviados direto para o Investigador Principal (PI) e sua equipe assim que são salvos. Isso significa que os pesquisadores podem começar a examinar suas descobertas imediatamente e fazer as mudanças necessárias nas observações durante a noite.

#Como os Dados Eram Acessados Antes

Antes do ODAP, os pesquisadores tinham duas opções principais para acessar os dados. Podiam baixar grandes quantidades de dados brutos após a sessão de observação, ou podiam procurar por dados brutos e processados usando uma interface web. No entanto, esses métodos tinham limitações. O primeiro método só permitia acesso a dados brutos, e havia o risco de os usuários verem dados de outras equipes. O segundo opção exigia que os pesquisadores enviassem solicitações separadas para acessar os novos dados. Esse processo era lento e não muito conveniente durante as noites de observação.

#Melhorias com Ingestão em Tempo Real

Com o novo sistema, o observatório fez grandes mudanças em como eles operam. O processamento e o armazenamento de dados agora estão intimamente ligados às observações noturnas. Novos sistemas automáticos ajudam a reduzir e arquivar os dados à medida que são coletados. Graças a essas melhorias, os cientistas agora podem acessar seus dados logo após serem criados. Antes, os pesquisadores tinham que esperar até o dia seguinte para conseguir os dados. Esse acesso rápido permite que eles trabalhem com os dados imediatamente e façam ajustes em tempo real nas suas observações.

#Visão Geral do ODAP

O ODAP é construído usando um framework popular de JavaScript chamado React. Ele também usa TypeScript, que adiciona recursos que tornam o código mais fácil de ler e corrigir. A ferramenta usa WebSockets, uma forma de enviar dados instantaneamente entre um computador e um servidor. Assim que os pesquisadores fazem login, o sistema verifica se eles têm permissão para acessar os dados do programa agendado. À medida que novos dados chegam, eles são exibidos em uma tabela interativa que atualiza automaticamente. Se os pesquisadores quiserem, os arquivos também podem ser baixados diretamente para seus computadores assim que são armazenados.

#Componentes do ODAP

O ODAP tem três partes principais: um cliente front-end, um servidor back-end e um cliente watchdog. Juntos, esses componentes ajudam a gerenciar os dados e manter tudo funcionando direitinho. O cliente front-end é o que os pesquisadores veem em seus navegadores. O servidor back-end atua como um mensageiro entre o watchdog e o cliente front-end. O watchdog monitora os dados para ver quando novos arquivos estão disponíveis e manda essa informação para o servidor back-end. Por sua vez, o back-end repassa as informações para os navegadores dos pesquisadores.

#Baixando Arquivos

Os pesquisadores podem baixar arquivos do ODAP automaticamente ou fazendo uma solicitação. Se os downloads automáticos estiverem habilitados, o sistema vai buscar os arquivos quando eles ficarem disponíveis. No entanto, para manter tudo funcionando bem, a ferramenta baixa os arquivos um de cada vez. Se os pesquisadores quiserem baixar tudo de uma noite de observações, eles ainda podem fazer isso através de métodos específicos que se conectam ao sistema principal do observatório.

#Escalabilidade e Performance

Os arquivos produzidos pelo observatório podem variar de 10 megabytes a mais de 500 megabytes de tamanho. O ODAP consegue lidar bem com esses tamanhos, graças ao uso de WebSockets, que permite transferências de arquivos rápidas e eficazes sem limites de tamanho embutidos.

#Direitos de Acesso para Pesquisadores

O acesso aos dados é concedido apenas ao PI de cada projeto. Antes das observações começarem, contas são configuradas para conceder direitos de dados. O PI é responsável por dar acesso aos outros membros da equipe. Se alguém precisar criar uma conta, deve fazer isso enquanto o atendimento ao cliente estiver aberto. Esse processo pode ser complicado se os membros da equipe esquecerem de configurar o acesso antes.

#Métricas de Usuário e Engajamento

Desde que foi lançado em 1º de agosto de 2023, o ODAP teve 550 usuários, a maioria dos Estados Unidos. Em média, os usuários passam 3 minutos e 41 segundos usando ativamente o ODAP. Mesmo que a aba não esteja em foco, o aplicativo continua transmitindo dados em segundo plano. Há esforços em andamento para melhorar como o uso é rastreado.

#Desafios Enfrentados Durante o Desenvolvimento

A equipe de desenvolvimento enfrentou alguns desafios durante o projeto. Inicialmente, os desenvolvedores criaram os requisitos sem a contribuição dos pesquisadores. Como resultado, a ferramenta se concentrou mais em aspectos técnicos em vez de como os astrônomos realmente trabalham. Com o passar do tempo, reunir feedback dos usuários teria ajudado a criar um produto melhor.

Um problema específico surgiu quando alguns pesquisadores não conseguiram acessar seus dados fora do horário comercial. O atendimento estava fechado, e as equipes precisavam acessar suas informações imediatamente. Para resolver isso, lembretes foram enviados aos PIs, pedindo para garantirem que os membros da equipe tivessem acesso. Um formulário automatizado para lidar com esse processo está sendo desenvolvido para evitar problemas similares no futuro.

Outro desafio foi a decisão de usar React e TypeScript para o front-end. Alguns desenvolvedores não estavam familiarizados com essas linguagens, causando atrasos e complicações. Se um treinamento tivesse sido oferecido antes do projeto, o processo de desenvolvimento teria sido mais tranquilo.

#Melhorias Futuras para o ODAP

O feedback dos usuários continuará a moldar as melhorias no ODAP. Algumas atualizações planejadas incluem:

• Conceder acesso a dados para tipos de observações que não estão agendadas com antecedência.
• Adicionar um visualizador que permita aos pesquisadores visualizar formatos de arquivo específicos.
• Implementar uma forma de gerenciar automaticamente as permissões de acesso para facilitar para toda a equipe.

Em resumo, o ODAP teve um impacto significativo em como os dados são acessados durante as observações no Observatório W. M. Keck. Com melhorias e atualizações em andamento, a ferramenta pretende atender melhor às necessidades dos usuários e simplificar a experiência de acesso aos dados. O sucesso da ferramenta depende de garantir que as necessidades dos pesquisadores sejam continuamente atendidas e que quaisquer desafios encontrados sejam resolvidos rapidamente.