Home

Projetos de Software

Quick Reduce

O Quick Reduce (QR) é um sistema para diagnóstico em tempo real das exposições da câmera do DES (DECam) instalada no telescópio Blanco de 4 metros no  Cerro Tololo Inter-American Observatory (CTIO) – Chile.

O QR está em operação há vários anos e é utilizado não só por membros da colaboração DES mas também por usuários da DECam da comunidade internacional, inclusive da brasileira que se beneficia com a troca de tempo entre telescópios Blanco e SOAR. Até o momento mais de 1 milhão de CCDs foram reduzidos.[1][2]

Figura 1 – Tela do Quick Reduce mostrando os CCDs (4k x 2k) da camera do DES monitorados pelo sistema.

Data Server

O Data Server é composto por um conjunto de ferramentas disponívies no LIneA e no Fermilab que permitem:

  • acompanhar o progresso do levantamento DES;
  • verificar visualmente a qualidade das imagens, permitindo marcar defeitos, rejeitá-las e/ou fazer comentários;
  • sobrepor objetos de catálogos (internos e externos ao DES) às imagens do levantamento;
  • realizar buscas nos catálogos de objetos produzidos a partir destas imagens;
  • criar ou carregar listas de objetos de interesse;
  • visualizar estes objetos e criar “recortes de imagens” para referência futura ou publicação.

A Figura 2 e os vídeos a seguir ilustram a ferramenta Tile Viewer e seu uso na verificação dos dados do primeiro ano do DES.

data_server
Figura 2Tile Viewer: umas das ferramentas disponíveis no portal instalado no Fermilab para verificação dos dados. No detalhe vemos uma imagem do DES com máscaras e objetos do catálogo sobrepostos.

 

Video 1. Tutorial para acessar a ferramenta Tile Viewer

Video 2. Uso do Tile Viewer para validação das imagens do primeiro ano de observações do DES

Video 3. Demostração da ferramenta Overplot

 

O Data Server está em operação no Fermilab desde Abril de 2014, e atende atualmente cerca de 180 usuários, na sua maioria pesquisadores internacionais. A Figura 3 mostra o número de acessos mensais ao longo dos últimos 2 anos.

Figura 3 – Número de acessos mensais.

Infraestrutura para criação de catálogos científicos

A criação de catálogos específicos para análise científica é automatizada através de uma infraestrutura composta for 18 pipelines para instalação, preparação dos dados e criação dos catálogos. A falta de homogeneidade dos dados devido às diferentes condições observacionais ao longo do tempo deve ser levada em conta bem como diferentes métodos para a classificação dos objetos detectados como estrelas ou galáxias e estimativas de redshift fotométricos obtidas por distintos algoritmos (Figura 4).

Dada a complexidade do sistema,  o monitoramento da execução dos pipelines e controle da proveniência dos resultados é fundamental, isso é feito através de um Dashboard integrado ao portal (Figura 5).

Esta infraestrutura será instalada no National Center for Supercomputing Applications (NCSA) como previsto no acordo entre o LIneA e o NCSA e beneficiará um número ainda maior de usuários.[3]

Figura 4 – Pipelines usados na instalação, preparação dos dados e criação de catálogos no portal científico.
dashboard
Figura 5Dashboard usado para monitorar o número de execuções, início, fim, duração e status do último processo de cada pipeline executado no portal.

Workflows Científicos

Este projeto é composto por workflows científicos que permitem analisar:

  • a evolução das funções de massa e de luminosidade das galáxias;
  • o grau de aglomeração das galáxias em pequena escala;
  • identificar aglomerados de galáxias;
  • determinar a função de correlação em grande escala para diferentes populações de galáxias;
  • a estrutura da Via Láctea;
  • vincular parâmetros cosmológicos utilizando técnicas de MCMC levando em consideração diferentes hipóteses e;
  • criar simulações da Galáxia e de populações de objetos no sistema solar.

Este sistema é usado não só para analisar dados reais, mas também dados simulados, para avaliar o desempenho de  diferentes algoritmos, e os efeitos de critérios de seleção e de erros sistemáticos.

Novos Projetos

Embora o desenvolvimento do Portal Científico tenha sido motivado pelas necessidades do DES a infraestrutura é genérica e adaptável a outros projetos e o conhecimento acumulado pela equipe de TI do LIneA permite alavancar o desenvolvimento de soluções para outros projetos.[4][5][6]

O sucesso de projetos como o Quick Reduce levou o projeto Dark Energy Spectroscopic Instrument (DESI) a adotar esta arquitetura para avaliar a qualidade dos 15,000 espectros que serão obtidos em cada exposição. Um acordo entre o LIneA e o projeto DESI foi recentemente assinado para que o LIneA desenvolva este sistema a ser entregue em 2018.

O LIneA assumiu compromisso com o  NCSA para a instalação do Portal Científico no NCSA  e prevê a integração com o banco de dados do DES para agilizar a etapa de validação dos dados liberados pelo DES que deve ocorrer de forma regular nos próximos 6 anos.[3]

O portal também terá um papel fundamental para o Brazilian  Participation  Group do LSST já que servirá para o desenvolvimento de algoritmos científicos que permitam a eficiente exploração científica do grande volume de dados que serão gerados continuamente pelo projeto ao longo de 10 anos. O uso de simulações e a experiência sendo adquirida com os dados do DES serão fundamentais para garantir a participação pró-ativa da equipe brasileira.[7][8]

Referências

  1. Carta de apoio do NOAO ao Quick Reduce
  2. Carta de apoio do AURA ao Quick Reduce
  3. Carta de interesse do NCSA nas ferramentas de validação do LIneA
  4. Carta de interesse do SDSS-III em manter o mirror site no LIneA
  5. Carta de interesse em colaboração LNA
  6. Carta de apoio do Observatório do Valongo ao LIneA
  7. Carta de interesse em cooperação técnica LSST-LIneA
  8. Carta de apoio do grupo de EPO do LSST