データ階層化ソリューション

TaiESMの気候チームには、モデリング用のデータの高い需要を維持するため、近い将来、10ペタバイト (PB) を超えるデータ・ストレージが必要です。既存のストレージ稼働率と限られたサーバー容量では、アプリケーションとワークロードの要件を満たすことができなくなっています。データ交換の頻度が増え、データ収集が改善されることで、常時オンの可用性、高速性、データ保護機能の向上が必要になります。

環境変動研究センターは、TaiESMの第2段階に向けて、データの増加と散在によって複雑さを増す構造化データの急増に対処しつつ、強力なデータ分析と高解像度に対応できるよう、より多くのデータ・ストレージ容量を必要としています。

既存のストレージ機器の容量、パフォーマンス、稼働率では、チームのアプリケーションとワークロードの要件を満たすことができなくなっています。より多くの研究データと分析レポートを処理できるように、将来に備えてストレージを拡張するためには、ストレージ機器を即座に拡張できる必要があります。

研究センターのデータは、一般的な研究機関の容量ではまったく足りないほど増大しています。気候変動研究センターの現在の研究データの容量は、約3 PBです。同センターでは、今後4年間で気候データの量が少なくとも更に10 PB増加すると予想しています。気候チームは、1日あたり最低2～4テラバイト (TB) のデータをシミュレートしています。また、同チームの要件では、サイロ化したデータではなくシームレスな気候データの交換が求められます。

同時に、モデリングの解像度を向上させることが切実に求められています。TaiESMの現行バージョンでは、研究の解像度として理想的ではありませんでした。地形や、台風などの気象条件を正確にシミュレートするため、同チームは画像の解像度を最低でも4倍にすることを検討しています。解像度を4倍にした場合、データ量は少なくとも16倍になります。

気象条件を現実的かつ実用的な方法で複製する場合、同チームのニーズを満たすことはさらに難しくなります。大きな問題となるのは、温度が陸から海へと変化する気象条件の、長期的な平均値を測定する場合です。テクノロジーの進歩により、ストレージ・ドライブの容量が増大し、コンピューティングの精度も向上しています。そのため、グリッド数を増やしたり、地球を細かく分割したりすることで、モデル予測を向上させるようになっています。処理する未加工データが増えるほど、利用できるリソースは増えますが、データを処理することでさらに多くのデータが生成されます。

最大25kmの視覚解像度を実現するために、同チームは1日あたり32TB～64TBのデータを作成しています。中央研究院の気候チームは、モジュール設定を継続的に調整および較正し、さまざまなモジュール設定ごとに生成されたデータを比較する必要がありますが、この作業によってさらに多くのデータが生成されます。同チームにとって、効果的で信頼性の高いデータ・ストレージは不可欠です。また、ハードディスク・ドライブの故障も重大な問題です。毎月4～10ユニットが故障し、多くの場合、高額な交換費用がかかります。