데이터 계층 솔루션

TaiESM 기후팀에는 모델링을 위한 더 높은 데이터 요구사항을 충족하기 위해 가까운 미래에 10페타바이트(PB) 이상의 데이터 스토리지가 필요하게 될 것입니다. 기존의 스토리지 가용률 및 제한된 서버 공간으로는 더 이상 활용 분야와 작업 부하 요구사항을 충족할 수 없습니다. 데이터 교류 빈도가 증가하고 데이터 수집이 고도화되면서 팀은 상시 가용성, 속도, 개선된 데이터 보호 기능을 필요로 합니다.

TaiESM의 두 번째 단계로 나아가려면 환경 변화 연구 센터에는 더 강력한 데이터 분석과 더 높은 해상도의 이미지 활용을 위한 더 큰 데이터 스토리지 용량이 필요하며, 동시에 데이터 성장과 확장으로 인해 복잡해진 구조화된 데이터 급증을 관리해야 합니다.

기존의 스토리지 장비 공간, 성능, 가용률로는 더 이상 팀의 활용 분야와 작업 부하 요구사항을 충족할 수 없게 되었습니다. 미래에 대비하고 스토리지를 확장하여 더 많은 연구 데이터와 분석 보고서를 처리할 수 있게 되기 위해서는 스토리지 장비를 당장 확충해야 합니다.

연구 센터의 데이터 성장은 일반적인 연구 기관의 용량을 훨씬 넘어섰습니다. 현재 기후 변화 연구 센터의 연구 데이터 용량은 약 3PB입니다. 센터는 향후 4년 동안 기후 데이터 용량이 최소한 10PB 더 증가할 것이라고 예측합니다. 기후팀은 최소 2~4TB의 데이터를 시뮬레이션하고 있는데, 이들 작업은 고립된 데이터가 아닌, 원활한 데이터 교류가 요구되는 작업입니다.

동시에 모델링 해상도 개선도 절실합니다. 현재 TaiESM 버전에서는 연구에 그리 이상적이지 않은 화소 처리된 이미지를 제공합니다. 지형과 태풍과 같은 기상 상황을 정확하게 시뮬레이션하기 위해서는 수평 해상도를 최소 4배 개선해야 합니다. 해상도가 4배 높아지면 데이터 용량은 최소 16배 증가하게 됩니다.

기후 연구소에서 현실적이면서도 실용적으로 기상 상황을 재현하는 작업은 점점 까다로워지고 있습니다. 중대한 과제는 육지와 바다 온도의 변화 속에서 장기적인 평균 기상 상황을 측정하는 것입니다. 기술의 발전으로 스토리지 드라이브 용량, 컴퓨팅 정확도가 진보하여, 보다 나은 그리드나 지구 섹터화가 가능해짐에 따라 모델 예측이 개선되고 있습니다. 원시 데이터 처리를 통해 더 큰 리소스 기회를 만들 수 있으며, 동시에 처리 과정에서 더 많은 데이터가 생성되기도 합니다.

해상도를 25km까지 높이기 위해 팀은 매일 32TB~64TB의 데이터를 생성합니다. Academia Sinica의 기후팀은 지속적으로 모듈 설정을 조정 및 교정하고 각 설정에서 생성된 데이터를 비교해야 하는데 그럼 추가 데이터가 생성됩니다. 이러한 팀에게 효과적이고 신뢰할 수 있는 데이터 스토리지는 필수적입니다. 하드 디스크 드라이브 장애는 중대한 문제였는데, 문제가 있는 유닛을 한 달에 4~10개씩 비싼 값을 주고 교체해야 했습니다.