Observatório Keck Lança Novo Portal de Acesso a Dados
ODAP dá aos cientistas acesso imediato a dados astronômicos do mundo todo.
T. Coda, T. Oluyide, M. S. Lynn, J. A. Mader, G. Bruce Berriman, M. Brodheim, C. R. Gelino, J. Good
― 6 min ler
Índice
- Como os Dados Eram Acessados Antes
- Melhorias com Ingestão em Tempo Real
- Visão Geral do ODAP
- Componentes do ODAP
- Baixando Arquivos
- Escalabilidade e Performance
- Direitos de Acesso para Pesquisadores
- Métricas de Usuário e Engajamento
- Desafios Enfrentados Durante o Desenvolvimento
- Melhorias Futuras para o ODAP
- Fonte original
O Observatório W. M. Keck lançou um novo aplicativo web chamado Portal de Acesso a Dados para Observadores (ODAP). Essa ferramenta permite que cientistas acessem dados astronômicos quase instantaneamente, não importa onde eles estejam no mundo. Quando os dados são coletados no observatório, eles são enviados direto para o Investigador Principal (PI) e sua equipe assim que são salvos. Isso significa que os pesquisadores podem começar a examinar suas descobertas imediatamente e fazer as mudanças necessárias nas observações durante a noite.
Como os Dados Eram Acessados Antes
Antes do ODAP, os pesquisadores tinham duas opções principais para acessar os dados. Podiam baixar grandes quantidades de dados brutos após a sessão de observação, ou podiam procurar por dados brutos e processados usando uma interface web. No entanto, esses métodos tinham limitações. O primeiro método só permitia acesso a dados brutos, e havia o risco de os usuários verem dados de outras equipes. O segundo opção exigia que os pesquisadores enviassem solicitações separadas para acessar os novos dados. Esse processo era lento e não muito conveniente durante as noites de observação.
Melhorias com Ingestão em Tempo Real
Com o novo sistema, o observatório fez grandes mudanças em como eles operam. O processamento e o armazenamento de dados agora estão intimamente ligados às observações noturnas. Novos sistemas automáticos ajudam a reduzir e arquivar os dados à medida que são coletados. Graças a essas melhorias, os cientistas agora podem acessar seus dados logo após serem criados. Antes, os pesquisadores tinham que esperar até o dia seguinte para conseguir os dados. Esse acesso rápido permite que eles trabalhem com os dados imediatamente e façam ajustes em tempo real nas suas observações.
Visão Geral do ODAP
O ODAP é construído usando um framework popular de JavaScript chamado React. Ele também usa TypeScript, que adiciona recursos que tornam o código mais fácil de ler e corrigir. A ferramenta usa WebSockets, uma forma de enviar dados instantaneamente entre um computador e um servidor. Assim que os pesquisadores fazem login, o sistema verifica se eles têm permissão para acessar os dados do programa agendado. À medida que novos dados chegam, eles são exibidos em uma tabela interativa que atualiza automaticamente. Se os pesquisadores quiserem, os arquivos também podem ser baixados diretamente para seus computadores assim que são armazenados.
Componentes do ODAP
O ODAP tem três partes principais: um cliente front-end, um servidor back-end e um cliente watchdog. Juntos, esses componentes ajudam a gerenciar os dados e manter tudo funcionando direitinho. O cliente front-end é o que os pesquisadores veem em seus navegadores. O servidor back-end atua como um mensageiro entre o watchdog e o cliente front-end. O watchdog monitora os dados para ver quando novos arquivos estão disponíveis e manda essa informação para o servidor back-end. Por sua vez, o back-end repassa as informações para os navegadores dos pesquisadores.
Baixando Arquivos
Os pesquisadores podem baixar arquivos do ODAP automaticamente ou fazendo uma solicitação. Se os downloads automáticos estiverem habilitados, o sistema vai buscar os arquivos quando eles ficarem disponíveis. No entanto, para manter tudo funcionando bem, a ferramenta baixa os arquivos um de cada vez. Se os pesquisadores quiserem baixar tudo de uma noite de observações, eles ainda podem fazer isso através de métodos específicos que se conectam ao sistema principal do observatório.
Escalabilidade e Performance
Os arquivos produzidos pelo observatório podem variar de 10 megabytes a mais de 500 megabytes de tamanho. O ODAP consegue lidar bem com esses tamanhos, graças ao uso de WebSockets, que permite transferências de arquivos rápidas e eficazes sem limites de tamanho embutidos.
Direitos de Acesso para Pesquisadores
O acesso aos dados é concedido apenas ao PI de cada projeto. Antes das observações começarem, contas são configuradas para conceder direitos de dados. O PI é responsável por dar acesso aos outros membros da equipe. Se alguém precisar criar uma conta, deve fazer isso enquanto o atendimento ao cliente estiver aberto. Esse processo pode ser complicado se os membros da equipe esquecerem de configurar o acesso antes.
Métricas de Usuário e Engajamento
Desde que foi lançado em 1º de agosto de 2023, o ODAP teve 550 usuários, a maioria dos Estados Unidos. Em média, os usuários passam 3 minutos e 41 segundos usando ativamente o ODAP. Mesmo que a aba não esteja em foco, o aplicativo continua transmitindo dados em segundo plano. Há esforços em andamento para melhorar como o uso é rastreado.
Desafios Enfrentados Durante o Desenvolvimento
A equipe de desenvolvimento enfrentou alguns desafios durante o projeto. Inicialmente, os desenvolvedores criaram os requisitos sem a contribuição dos pesquisadores. Como resultado, a ferramenta se concentrou mais em aspectos técnicos em vez de como os astrônomos realmente trabalham. Com o passar do tempo, reunir feedback dos usuários teria ajudado a criar um produto melhor.
Um problema específico surgiu quando alguns pesquisadores não conseguiram acessar seus dados fora do horário comercial. O atendimento estava fechado, e as equipes precisavam acessar suas informações imediatamente. Para resolver isso, lembretes foram enviados aos PIs, pedindo para garantirem que os membros da equipe tivessem acesso. Um formulário automatizado para lidar com esse processo está sendo desenvolvido para evitar problemas similares no futuro.
Outro desafio foi a decisão de usar React e TypeScript para o front-end. Alguns desenvolvedores não estavam familiarizados com essas linguagens, causando atrasos e complicações. Se um treinamento tivesse sido oferecido antes do projeto, o processo de desenvolvimento teria sido mais tranquilo.
Melhorias Futuras para o ODAP
O feedback dos usuários continuará a moldar as melhorias no ODAP. Algumas atualizações planejadas incluem:
- Conceder acesso a dados para tipos de observações que não estão agendadas com antecedência.
- Adicionar um visualizador que permita aos pesquisadores visualizar formatos de arquivo específicos.
- Implementar uma forma de gerenciar automaticamente as permissões de acesso para facilitar para toda a equipe.
Em resumo, o ODAP teve um impacto significativo em como os dados são acessados durante as observações no Observatório W. M. Keck. Com melhorias e atualizações em andamento, a ferramenta pretende atender melhor às necessidades dos usuários e simplificar a experiência de acesso aos dados. O sucesso da ferramenta depende de garantir que as necessidades dos pesquisadores sejam continuamente atendidas e que quaisquer desafios encontrados sejam resolvidos rapidamente.
Título: Observers' Data Access Portal: Realtime Streaming for Astronomical Data
Resumo: The W. M. Keck Observatory Archive (KOA) has released the Observers Data Access Portal (ODAP), a web-application that delivers astronomical data from the W. M. Keck Observatory to the scheduled program's principal investigator and their collaborators anywhere in the world in near real-time. Data files and their associated metadata are streamed to a user's desktop machine moments after they are written to disk and archived in KOA. The ODAP User Interface is built in React and uses the WebSocket protocol to stream data between KOA and the user. This document describes the design of the tool, challenges encountered, shows how ODAP is integrated into the Keck observing model, and provides an analysis of usage metrics.
Autores: T. Coda, T. Oluyide, M. S. Lynn, J. A. Mader, G. Bruce Berriman, M. Brodheim, C. R. Gelino, J. Good
Última atualização: 2024-09-13 00:00:00
Idioma: English
Fonte URL: https://arxiv.org/abs/2409.09231
Fonte PDF: https://arxiv.org/pdf/2409.09231
Licença: https://creativecommons.org/licenses/by/4.0/
Alterações: Este resumo foi elaborado com a assistência da AI e pode conter imprecisões. Para obter informações exactas, consulte os documentos originais ligados aqui.
Obrigado ao arxiv pela utilização da sua interoperabilidade de acesso aberto.