部落格

Seagate 資料中心工作負載,完全由混合式和硬碟機儲存系統處理

目錄:

Seagate’s Data Center Workloads Served Entirely by Hybrid and Hard Drive Storage Systems Seagate’s Data Center Workloads Served Entirely by Hybrid and Hard Drive Storage Systems Seagate’s Data Center Workloads Served Entirely by Hybrid and Hard Drive Storage Systems

這個時代的資料需求永遠無法得到滿足。Seagate 不僅是儲存解決方案的領導製造商,也是在龐大資料中心管理大量資料的大型全球企業。面對老舊的全快閃儲存系統,Seagate 看到了將儲存策略現代化的機會,以求因應當前的需求和未來的資料成長。Seagate 選擇部署混合式儲存系統,運用硬碟機來提供大量容量,再搭配上少量快閃記憶體,便能高效擴充大量資料容量,又完全不會犧牲效能。許多 Seagate 資料中心部署了多個 Infinidat InfiniBox 儲存陣列。

針對硬碟機和 SSD 與資料中心的適用性,近期有許多研究。因此有充分的理由支持繼續以硬碟機承擔約 90% 的超大規模和雲端容量需求1。Seagate 自身的經驗便能說明原因:完善的策略不僅能讓快閃記憶體和硬碟機共存,還能相輔相成。如此可確保達到 Seagate 的所有儲存需求,從常規使用到格外嚴苛的環境都包含在內。

Seagate 針對這類混合式儲存系統的部署,就是一個很好的例子:展現出這兩種技術協同作用之下,如何最有效滿足現代資料中心的需求。快閃儲存裝置在提升特定工作的效能方面,確實佔有一席之地。而硬碟機則是大量資料儲存的處理中樞。

硬碟機和 SSD 兩者都相當重要,但屬於不同的儲存技術,讀取和寫入資料的方式完全不同。當然硬碟機的每 TB 成本優勢遠超過 SSD。橫向擴充的儲存架構需要混合使用兩者,並且經過最佳化處理,以求達到各種工作負載對預算、容量和效能的需求。

儲存架構的決定要素

對資料中心架構師和營運商而言,硬碟機儲存架構的決策需靠幾個關鍵因素:高可用性和彈性、效能、容量、可支援性和整體成本。透過這幾項要素,可確保儲存基礎結構在處理各種高要求的工作負載時,能保有高效率且經濟實惠。

Seagate 資料中心的需求,源自於明確的目標,是為了因應公司複雜的營運作業,不僅涵蓋研究、設計和製造工作,還包括各種 B2B 和 B2C 通路的多樣化市場佔有率。有鑑於製造業 IoT 裝置、自動化和數位化所產生的資料量不斷增加,Seagate 著手尋找符合成本效益的方式,進一步提升儲存容量和效能。若要善加運用 AI 和資料分析能力,此種強化升級至關重要。因為 AI 和資料分析作業能從大量非結構化資料中獲得深度分析資訊,進而提升商業價值。

本公司重要營運範圍相當廣大,以下列項目為主:

  • 企業資源規劃 (ERP):Seagate 營運的核心,能使會計到供應鏈管理等各種功能確實運作
  • 即時資料庫:350TB 的資料格外重要,用於追蹤每台 Seagate 出貨裝置的製造、測試和技術細節
  • 分析工作:協助 Seagate 從大型資料集中擷取深度分析資訊,以供下達策略決策
  • 虛擬機器 (VM) 和檔案服務:對日常 IT 作業和應用程式託管至關重要

分析師指出,企業工作負載的絕大多數相關資料,都需要大量容量和達到標稱時間的資料傳輸能力。而硬碟機所能提供的規模和 TCO 優勢便相當適合。Seagate 副總裁暨 IT 基礎架構全球主管 Vinod Pasi 認為,此種典型情況便是反映出 Seagate 擁有豐富的經驗,擅長打造能有效因應資料中心工作負載的資料儲存架構。

支持 Seagate 的所有資料中心工作負載

Seagate 對混合式儲存系統的策略性部署,在有效管理各式各樣資料中心工作負載方面,發揮了重要作用。Seagate 已辨識出各種特定的工作負載,對資料傳輸效能等級和大量儲存容量的需求都不相同。

例如非即時報告資料庫 (例如 BDW 和 Informatica) 工廠資料庫 (例如 ODS、TS 和 PIC),都是 Seagate 資料儲存需求的一大部分。這些工作負載 (也包括託管 Linux 和 Windows 應用程式的 VMware VM)、檔案服務 (NFS、CIFS、SFTP、FTP)、適用於多個站點的 Hadoop HDFS,以及用於備份和機器學習應用程式的 MinIO 儲存叢集,總共佔了大約 90% 的 Seagate 的儲存容量。這些工作負載主要由硬碟機處理,因為容量需求相當龐大,而硬碟機儲存裝置的成本效益很高。

對於需要即時資料傳輸的工作負載 (例如佔 Seagate 10% 儲存需求的工廠生產線支援資料庫和 Citrix VDI),混合式儲存系統的智慧快取和資料放置功能可確保效能不受影響。這些應用環境會受益於混合式系統中整合的少量 SSD,能為即時作業提供必要的速度和低延遲,同時仍可利用高容量硬碟機來儲存大量資料。

從 Seagate 的資料中心工作負載中,可看出更廣泛的產業趨勢。大部分企業資料都是由混合式儲存解決方案有效管理。硬碟機可滿足大量儲存空間的需求,達到所需的標稱到實際時間的資料傳輸效能;SSD 則適用於追求高效的工作,通常需要從即時到超即時的資料傳輸素度。而混合式解決系統具有多功能且成本效益良好的架構。此架構可處理各種高要求的資料中心工作負載,確保高效能和擴充性且不會產生如全快閃基礎架構的高昂成本。

設計符合工作負載需求的儲存架構

雲端、超大規模和大型企業儲存架構師,往往會選擇最合適的儲存類型組合,才能達到最佳的成本、容量和效能。進階混合式儲存陣列最適合達成此目標。SSD 最適合密集讀取的高效能工作負載,這種工作負載的比例非常小,且需要極度即時的資料傳輸速度;硬碟機則方便存取大量資料,且能支持絕大多數的工作負載。硬碟機負責處理快閃記憶體所不該處理的工作,快閃記憶體則處理硬碟機所不該處理的工作。部署進階的混合式系統能簡化架構,確保每種儲存媒體都能在最需要之時受到運用。

儲存解決方案應符合特定作業需求

Seagate 資料中心搭配使用不同儲存解決方案,以配合特定的營運需求。

以前 Seagate 使用全快閃記憶體系統來應對某些儲存效能需求,雖然確實提高了效能,但成本十分昂貴。快閃記憶體每 TB 成本是硬碟機的六倍以上。為了尋求更具成本效益的解決方案,以提供能相提並論的效能,並因應未來成長所需的擴充性,Seagate 部署了 17 個新的混合式儲存系統。

除了混合陣列之外,Seagate 還採用了 26 個 Exos 硬碟機儲存系統用於特定功能。例如安全監控攝影機的資料儲存、備份目標和認證所需的記錄保留用途。

我們的儲存容量超過 50 PB,其中大多是由 Seagate Exos 硬碟機負責提供。在 Infinidat 混合式系統和完全採用硬碟機的 Exos 儲存系統之中,都整合了這系列硬碟機。

每個混合式陣列能提供 4.6 PB 的可用硬碟機空間,外加少量的快閃記憶體層。透過智慧快取技術,可動態處理多種儲存裝置之間的資料管理最佳化,根據不斷變化的工作負載調整,自動確保 Seagate 高要求應用環境所需的高效能。此種架構可滿足資料儲存空間上升的需求,讓公司能針對資料密集的工作達到最佳容量和存取速度,降低每 TB 的 TCO,進而高效率管理一切工作負載。

硬碟機和快閃記憶體如何在混合式系統中協同運作

硬碟機和 SSD 在儲存解決方案之中相輔相成。SSD 可處理高速和低延遲的需求,硬碟機則負責處理大規模的高儲存容量需求。一般而言,SSD 最適用需要極低延遲 (低於 1毫秒) 的區塊和檔案類型,因此相當適合高效能的密集讀取工作負載。而硬碟機適用的檔案類型更廣泛,包括區塊、檔案和物件等,尤其適合需要高容量的情況。中度到高度延遲需求的應用環境 (1 到 100 毫秒以上),就十分適合使用硬碟機。

如同大多數混合式儲存系統,Infinidat 的 InfiniBox 採用硬碟機機做為主儲存設備。而且也使用了比常態更大的 DRAM 快取,固態儲存層則做為次要的快取記憶體。DRAM 快取較大,便能讓更多資料儲存在靠近 CPU 的位置,進而提升效能以及資料放置策略的效率。系統大部分資料都存放在硬碟機上,硬碟機就是大量儲存能力的基礎。這類系統能智慧合併快取資料,並依序將資料寫出,如此能確保更高的寫入效率,並盡可能降低對快閃記憶體耐久性的影響。系統的中繼資料使用 Trie 資料結構保存在 DRAM 中,能快速有效率地存取資料,有助於提升系統的高效能和擴充性。

演算法可透過分層儲存層級,用智慧方式管理資料放置位置。系統會標記中繼資料來監控各項指標,包括存取頻率、區塊大小、讀寫頻率,以及相關的應用程式 I/O 設定檔,並且運用動態資訊,確認哪些資料最有可能互相參照和共同使用。系統會高效率預先擷取資料,提高讀取時的快取命中率。

從這種整合做法中,可看出進階混合式儲存系統如何同時運用硬碟機和 SSD 的優勢,將工作負載分配到最有效率的所在。例如硬碟機用於大量儲存,SSD 則負責提升效能。

成本效益與生產力提升

Seagate 部署的混合式儲存策略,已展現出成本效益和生產力的提升。每年增加每 PB儲存容量的財務效益,包括降低 IT 基礎架構成本、縮短備份時間、加強載入時間以及加快交易速率。

Vinod Pasi 表示,根據 IT 團隊的基準測試,可發現新的混合式系統以較低的成本便超越了先前的全快閃陣列效能,同時提供大幅的容量增長,能夠高效率接納各種工作負載。從大型資料庫和分析工作,到檔案服務和 VMware 工作負載都能應對自如。

透過這種轉型,Seagate 得以簡化資料儲存作業,從多個全快閃陣列改為以單一混合式系統管理關鍵的 350TB 資料庫。轉形成供簡化了架構,也減少了支援和維護的複雜性,為了邁向更高效率的資料管理而邁出了策略性的一步。

 

IT 團隊在各種不同的工作負載量上,都發現了多項效能指標都有顯著改善。備份時間縮短 90%:從數小時縮短為數分鐘。載入時間縮短 40%。交易速率提高 35%。查詢速度加快 20% 以上。


IT 團隊在各種不同的工作負載量上,都發現了多項效能指標都有顯著改善。備份時間縮短 90%:從數小時縮短為數分鐘。載入時間縮短 40%。交易速率提高 35%。查詢速度加快 20% 以上。

減少資本支出和營運支出

整合儲存陣列後,Seagate 的資本支出 (CapEx) 和營運支出 (OpEx) 大幅降低,整體支出將近減半。採用這些混合式系統,使公司 IT 營運能力得以提升、管理作業獲得簡化,彈性也隨之提高。

此次轉型讓 Seagate 輕鬆達成對容量和效能的需求。單一混合式系統可管理多達 17.287PB 的有效容量。因此除了促進 Seagate 目前 IT 工作負載的整合,還可在未來根據多種因素輕鬆擴充系統容量。因為 Seagate 部署了最新的 Exos 硬碟機搭配 Mozaic 3+ 技術,能讓每部硬碟機提供 30TB 以上的容量,即單碟可達到 3TB 以上。

使 Seagate 資料中心基礎架構更加簡潔並降低複雜性,是另一項重大優勢。Seagate 將各式各樣的工作負載整合到數量較少的混合式系統上,因此成功簡化了營運作業,管理異質儲存陣列環境的間接費用和後勤問題也隨之降低。系統簡化後,不僅節省了成本,也提高了作業的靈活性。讓 Seagate 的 IT 團隊可以更專注於創新,而不用費心維護。系統的此種彈性和擴充性,與 Seagate 的策略方向一致,既有能力動態擴充儲存容量,以配合不斷變化的業務需求,還無需承受全快閃解決方案擴充時通常會有的財務和後勤負擔。

效能與容量的平衡

Vinod Pasi 指出 Seagate 決策過程的核心,即是必須在效能和容量之間取得平衡。雖然 Seagate 先前部署的全快閃記憶體陣列效能良好,但 Seagate 這類企業的整體需求也需要龐大資料容量。混合式儲存系統巧妙地彌補了這道鴻溝,既可達到高效能指標,也保有實惠儲存數 PB 資料的能力。這種平衡不僅能支援眼前的營運需求,還能讓 Seagate 應對未來的資料成長和技術轉移。

  1. IDC,《Multi-Client Study, Cloud Infrastructure Index 2023: Compute and Storage Consumption by 100 Service Providers》,2023 年 11 月