Resultados do primeiro encontro de planejamento do DAC brasileiro

04 de abril de 2018 | LIneA

No dia 20/03/2018 foi realizado no auditório do Observatório Nacional o primeiro encontro para discutir as necessidades de um Centro Regional de Acesso aos dados do LSST a ser construído no Brasil. Conhecidos como DACs (Data Access Centers) eles estão sendo desenvolvidos em La Serena (Chile), Urbana (EUA) e Lyon (França). O objetivo é dar suporte aos pesquisadores brasileiros envolvidos no LSST (bem como em outros grandes levantamentos astronômicos) na forma de uma infraestrutura para a rápida transferência de dados entre os parceiros a nível nacional e internacional. O centro deverá prover capacidade de processamento de alto desempenho de forma integrada procurando capitalizar da infraestrutura disponível em diferentes instituições brasileiras além daquela sendo prevista para o LIneA, e software para a preparação de catálogos escalonado a partir do trabalho sendo feito para o Dark Energy Survey ( DES) e workflows científicos de interesse dos pesquisadores brasileiros devidamente adaptados para trabalhar com grandes volumes de dados o principal desafio do LSST.

Do encontro participaram representantes de diversas instituições brasileiras entre as quais ANSP, CEFET, LNCC, RNP, SBC, UFCG, UFRJ, UNESP, UNICAMP e UNIRIO. Além desses, pesquisadores do NCSA, da Universidade de Chicago e SLAC envolvidos no projeto LSST fizeram apresentações remotas. A reunião contou com mais de 30 participantes entre os presentes (Figura 1) e os conectados remotamente.

O encontro foi dividido em três sessões. Na primeira os membros do LIneA (Figura 2) apresentaram as várias etapas de processamento do portal como mostra a Figura 3 que inclui: 1) a instalação dos produtos básicos produzidos pelo NCSA; 2) a criação de mapas que determinam as regiões que devem ser usadas para análise; 3) os vários processos envolvidos no cálculo de parâmetros associados a cada fonte detectada; 4) a criação de catálogos; 5) os workflows científicos; e 6) os processos de estimativa de parâmetros cosmológicos. A ênfase da apresentação foi discutir para cada etapa o volume e origem dos dados (arquivos, banco de dados); tipos de paralelização para cada processo; tempo de execução e tipo de processamento (ex. Python, multithreaded, MPI). Apresentações também foram feitas das lições aprendidas procurando listar os pontos que exigem melhorias para um futuro portal.

Na segunda sessão do encontro foram feitas apresentações remotas por Michelle Butler sobre o status atual do DAC do NCSA e o que está previsto para o Chile em 2018. Yadu Babuji da Universidade de Chicago descreveu o sistema Parallel Scripting LIbrary for Python que foi escolhido para ser usado na orquestração dos processos do Dark Energy Science Collaboration (DESC) do LSST. Finalmente, Fritz Mueller do SLAC discorreu sobre a estrutura do banco de dados QSERV sendo desenvolvido para a distribuição de dados do LSST. Estas apresentações estão disponíveis no site do LIneA.

Na última sessão representantes da UNESP fizeram apresentações sobre o trabalho sendo desenvolvido na transferência e gerenciamento de grandes volumes de dados pelo projeto SPRACE. Após estas apresentações foi aberto um debate.

As principais conclusões desta reunião foram: i) a necessidade de se fazer um projeto que englobe todos os diversos aspectos de hardware e software envolvidos neste empreendimento, ii) identificar lideranças que possam servir de ponto de contato e procurar pessoas que gostariam de participar desse esforço, e iii) a necessidade de dar continuidade a estas reuniões mesmo que remotamente. Foi proposto a criação de um comissão nacional de experts nas diferentes áreas de atuação do LIneA que servissem para avaliar e assessorar o seu trabalho periodicamente.

Figura 1 – Visão do auditório onde o encontro foi realizado. Crédito da imagem: Carlos Adean
Figura 2 – Apresentações durante a reunião. Crédito das imagens: LIneA.

Figura 3 – Etapas de processamento no Portal Científico do LIneA. Crédito da imagem: LIneA.

Deixe um comentário