RNP bate recorde de transferência de dados do SDSS

29 de julho de 2016 | LIneA

O LIneA já entrou no espírito olímpico e realizou uma espécie de corrida de revezamento com dados do SDSS-IV, batendo um recorde de transferência.

O SDSS-IV é a quarta edição de um projeto que há mais de 15 anos mapeia o Universo através de imagens e espectros. Parte de seu sucesso está relacionado a “Lançamentos de Dados” (em inglês, Data Release (DR)) para a comunidade. Imagens, espectros, catálogos de estrelas e galáxias são disponibilizados através de uma página onde se pode fazer consultas e baixar dados.

Cada DR contem dezenas de Terabytes (TB, 1TB = 1.000 Gigabytes) e manter o histórico de todos os lançamentos requer um grande esforço de curadoria de dados, envolvendo o armazenamento de centenas de Terabytes, o que é fundamental se um pesquisador quer reproduzir os resultados de um estudo baseado em um DR anterior.

Agora em 2016 chegamos ao DR13, que estará disponível para o público a partir do dia 31 de Julho no sítio internacional nos EUA. Mas para a servir a comunidade local, esses dados precisam ser transferidos para um site “espelho” no Brasil.

A cada lançamento existe uma novidade, dessa vez os cubos de dados do projeto MaNGa. Essa atividade é realizada desde o DR8 em 2009. Desde então, mantemos sempre apenas o último lançamento e a curadoria completa de todos os lançamentos é feita nos EUA (Figura 1).

screenshot-www.linea.gov.br_2016-07-25_17-46-03
Figura 1 – Tela de acesso aos Lançamentos de Dados do SDSS no site do LIneA. Em breve o DR13 estará disponível no lugar do DR12.

Se um usuário comum fosse transferir as dezenas de Terabytes de dados do DR13 entre a Universidade Johns Hopkins (EUA), onde eles estão originalmente armazenados, e o Brasil, levaria semanas. Um processo lento e sujeito a interrupções.

Graças ao auxílio da Rede Nacional de Ensino e Pesquisa (RNP) e o uso de uma rede especial entre Brasil e EUA, foi alcançada uma taxa de transferência recorde de 2,2 Gigabits por segundo, terminando a transferência em cerca de um dia.

Esse tipo de transferência é uma pequena amostra do que é necessário em termos de transferência de dados para o LSST, que irá produzir vários Terabytes por noite durante dez anos, quando começar a observar o céu em 2021. O Brasil e seus pesquisadores envolvidos nesse projeto, precisam estar preparados para transportar, armazenar, e analisar essa grande quantidade de dados. Por isso é fundamental ter investimentos em infra-estrutura de rede e computação de alto desempenho.

Mais detalhes sobre a transferência também estão no site da RNP.

Deixe um comentário