Solução de dados

A equipe de clima do TaiESM precisa de armazenamento de dados de mais de 10 petabytes (PB) em um futuro próximo para manter uma demanda mais alta de dados para modelagem. As taxas de disponibilidade de armazenamento existentes e o espaço limitado do servidor não atendem mais aos requisitos da aplicação e cargas de trabalho. A frequência crescente de trocas de dados e coleta de dados aprimorada significa que a equipe precisa de disponibilidade permanente, velocidade e proteção de dados aprimorada.

Para a segunda fase do TaiESM, o Centro de Pesquisa de Mudanças Ambientais precisa de mais capacidade de armazenamento de dados para permitir análises de dados mais robustas e resoluções visuais mais altas, enquanto gerencia um aumento de dados estruturados que é complicado pelo crescimento e dispersão dos dados.

O espaço, o desempenho e a taxa de disponibilidade do equipamento de armazenamento existente não atendiam mais aos requisitos da aplicação e carga de trabalho da equipe. Para preparar e dimensionar seu armazenamento para o futuro, de modo que possa lidar com mais dados de pesquisa e relatórios de análise, o equipamento de armazenamento precisa de expansão imediata.

O crescimento de dados do Centro de pesquisa excedeu em muito a capacidade de um instituto de pesquisa comum. A capacidade atual de dados de pesquisa no centro de pesquisa de mudanças climáticas é de aproximadamente 3 PB. O centro previu que, nos próximos quatro anos, a quantidade de dados climáticos aumentará em pelo menos mais 10 PB. A equipe de clima simula pelo menos dois a quatro terabytes (TB) de dados por dia, e seus requisitos exigem uma troca contínua de dados climáticos, em vez de dados isolados.

Simultaneamente, há uma necessidade urgente de aprimorar a resolução da modelagem. A versão atual do TaiESM oferecia uma resolução que não é ideal para pesquisa. Para simular com precisão as formas de relevo e as condições meteorológicas, como tufões, a equipe procura melhorar sua resolução horizontal em pelo menos quatro vezes. Esse aumento de quatro vezes na resolução significaria um aumento de pelo menos 16 vezes na quantidade de dados.

Quando se trata de replicar as condições meteorológicas de forma realista e prática no laboratório de pesquisas climáticas, as necessidades da equipe ficam ainda mais desafiadoras. Um obstáculo significativo é simular a média de longo prazo das condições climáticas, à medida que as temperaturas mudam da terra para o oceano. A tecnologia avançou a capacidade das unidades de armazenamento e a precisão da computação, permitindo mais grades ou setorização do terreno e, assim, aprimorando as previsões do modelo. Enquanto o processamento de mais dados brutos leva a maiores oportunidades de recursos, o processamento também cria ainda mais dados.

Para buscar uma resolução visual de até 25 km, a equipe cria de 32 TB a 64 TB de dados por dia. A equipe de clima da Academia Sinica deve ajustar e calibrar continuamente as configurações do módulo e comparar os dados produzidos por cada configuração de módulo diferente, o que gera dados adicionais. O armazenamento de dados eficaz e confiável é crucial para a equipe. Falhas em unidades de disco rígido eram um ponto problemático significativo, muitas vezes exigindo a substituição dispendiosa de quatro a dez unidades defeituosas por mês.