Projetos de Software

Quick Reduce

O Quick Reduce (QR) é um sistema para diagnóstico em tempo real das exposições da câmera do DES (DECam) instalada no telescópio Blanco de 4 metros no Cerro Tololo Inter-American Observatory (CTIO) – Chile.

O QR está em operação há vários anos e é utilizado não só por membros da colaboração DES mas também por usuários da DECam da comunidade internacional, inclusive da brasileira que se beneficia com a troca de tempo entre telescópios Blanco e SOAR. Até o momento mais de 1 milhão de CCDs foram reduzidos.[1][2]

O manual de uso do Quick Reduce pode ser encontrado aqui.

**Figura 1** – Tela do *Quick Reduce* mostrando os CCDs (4k x 2k) da camera do DES monitorados pelo sistema.

Data Server

O Data Server é composto por um conjunto de ferramentas disponívies no LIneA e no Fermilab que permitem:

acompanhar o progresso do levantamento DES;
verificar visualmente a qualidade das imagens, permitindo marcar defeitos, rejeitá-las e/ou fazer comentários;
sobrepor objetos de catálogos (internos e externos ao DES) às imagens do levantamento;
realizar buscas nos catálogos de objetos produzidos a partir destas imagens;
criar ou carregar listas de objetos de interesse;
visualizar estes objetos e criar “recortes de imagens” para referência futura ou publicação.

A Figura 2 e os vídeos a seguir ilustram a ferramenta Tile Viewer e seu uso na verificação dos dados do primeiro ano do DES.

data_server — **Figura 2** – *Tile Viewer*: umas das ferramentas disponíveis no portal instalado no Fermilab para verificação dos dados. No detalhe vemos uma imagem do DES com máscaras e objetos do catálogo sobrepostos.

Video 1. Tutorial para acessar a ferramenta Tile Viewer

Video 2. Uso do Tile Viewer para validação das imagens do primeiro ano de observações do DES

Video 3. Demostração da ferramenta Overplot

O Data Server está em operação no Fermilab desde Abril de 2014, e atende atualmente cerca de 180 usuários, na sua maioria pesquisadores internacionais. A Figura 3 mostra o número de acessos mensais ao longo dos últimos 2 anos.

Figura 3 – Número de acessos mensais.

Infraestrutura para criação de catálogos científicos

A criação de catálogos específicos para análise científica é automatizada através de uma infraestrutura composta for 18 pipelines para instalação, preparação dos dados e criação dos catálogos. A falta de homogeneidade dos dados devido às diferentes condições observacionais ao longo do tempo deve ser levada em conta bem como diferentes métodos para a classificação dos objetos detectados como estrelas ou galáxias e estimativas de redshift fotométricos obtidas por distintos algoritmos (Figura 4).

Dada a complexidade do sistema, o monitoramento da execução dos pipelines e controle da proveniência dos resultados é fundamental, isso é feito através de um Dashboard integrado ao portal (Figura 5).

Esta infraestrutura será instalada no National Center for Supercomputing Applications (NCSA) como previsto no acordo entre o LIneA e o NCSA e beneficiará um número ainda maior de usuários.[3]

**Figura 4** – Pipelines usados na instalação, preparação dos dados e criação de catálogos no portal científico.

dashboard — **Figura 5** – *Dashboard* usado para monitorar o número de execuções, início, fim, duração e status do último processo de cada pipeline executado no portal.

Workflows Científicos

Este projeto é composto por workflows científicos que permitem analisar:

a evolução das funções de massa e de luminosidade das galáxias;
o grau de aglomeração das galáxias em pequena escala;
identificar aglomerados de galáxias;
determinar a função de correlação em grande escala para diferentes populações de galáxias;
a estrutura da Via Láctea;
vincular parâmetros cosmológicos utilizando técnicas de MCMC levando em consideração diferentes hipóteses e;
criar simulações da Galáxia e de populações de objetos no sistema solar.

Este sistema é usado não só para analisar dados reais, mas também dados simulados, para avaliar o desempenho de diferentes algoritmos, e os efeitos de critérios de seleção e de erros sistemáticos.

Novos Projetos

Embora o desenvolvimento do Portal Científico tenha sido motivado pelas necessidades do DES a infraestrutura é genérica e adaptável a outros projetos e o conhecimento acumulado pela equipe de TI do LIneA permite alavancar o desenvolvimento de soluções para outros projetos.[4][5][6]

O sucesso de projetos como o Quick Reduce levou o projeto Dark Energy Spectroscopic Instrument (DESI) a adotar esta arquitetura para avaliar a qualidade dos 15,000 espectros que serão obtidos em cada exposição. Um acordo entre o LIneA e o projeto DESI foi recentemente assinado para que o LIneA desenvolva este sistema a ser entregue em 2018.

O LIneA assumiu compromisso com o NCSA para a instalação do Portal Científico no NCSA e prevê a integração com o banco de dados do DES para agilizar a etapa de validação dos dados liberados pelo DES que deve ocorrer de forma regular nos próximos 6 anos.[3]

O portal também terá um papel fundamental para o Brazilian Participation Group do LSST já que servirá para o desenvolvimento de algoritmos científicos que permitam a eficiente exploração científica do grande volume de dados que serão gerados continuamente pelo projeto ao longo de 10 anos. O uso de simulações e a experiência sendo adquirida com os dados do DES serão fundamentais para garantir a participação pró-ativa da equipe brasileira.[7][8]