DataOps:資料管理缺漏的一環
隨著資料數量、種類和速度節節攀升,公司組織不能光依賴傳統的資料管理方法,而需要採取全新的解決方案。這類方案需具備產生深度分析資訊的能力,運用資訊來發揮業務線的價值,同時達成利害關係人的期望。
Seagate 近期《資料新思維》報告中的分析指出,結合「Data」(資料) 與「Operations」(營運) 的混合詞 DataOps,正是要讓資訊鏈發揮作用所缺少的一環。DataOps 提供了一個解決方案,能夠因應 IT 團隊和企業主同樣需面對的一些迫切難題。DataOps 同屬於更大規模的資料管理環境,有助於公司組織實現這種基本企業資源的最佳價值。
33% 的企業已有培養能力的計畫,30% 已進入實行階段,然而綜覽各地區和產業,只有 10% 的公司完整採行 DataOps 策略。
與其他吸引力廣大的數位轉型行動相比,DataOps 的部署進度顯得緩得緩慢許多 — 48% 的企業已採用公共雲端、多重雲端等策略。這種情況很大程度上源自於 DataOps 在 IT 堆疊中的特殊定位:雖然同時運用到新技術和不斷進化的流程,但 DataOps 最適合視為新興的資料原則,用於將消費者和建立者聯繫起來,強化彼此的協同合作效果、實現創新。
為了達成此目標,DataOps 的部署通常會結合使用人工智慧和機器學習技術,並且搭配擷取、載入、轉換 (Extract-Load-Transform,ELT) 的功能性,以便從各不相同的來源收集資料並建立關聯性。若有效採行這種作法,DataOps 可帶來相當顯著的競爭優勢。
DataOps 的主要功能在於聯繫資料消費者 (也就是業務決策者) 和資料建立者,讓企業具備決策能力。
常見的資料建立者包括 IoT 和端點裝置等各種機器,以及負責收集和輸入重要表單、文件和其他結構化資料的人員。目標客群包括營運經理,也就是在公司組織中負責下達業務線決策的人。重點在於資料建立者通常不會意識到更大規模的資料產生全景,而消費者實際上並不是需要資料,而是需要可據以採取行動的資訊。
DataOps 的主要功能便是弭平兩者間的鴻溝。各不相同的資料來自雲端、核心和邊緣服務,都是由不同的建立者所產生。效果良好的 DataOps 計畫能建立這些資料的關聯,合成為特定資料消費者群體可據以行動的深度資訊。
DataOps 的部署能夠為公司企業提供顯著效益。研究機構 Gartner 近期研究中的評論也贊同這點:「專注於引進 DataOps 技巧,資料和分析的領導階層便能產生影響,轉向更快速、靈活且可靠的資料遞送路徑。」
然而組織結構會對 DataOps 行動構成重重阻礙。目前有 47% 的公司表示,整間公司裡會使用多種備份和復原應用程式,此種情形必須納入考量。雖然對於地理位置各自分散的工作而言,這種互不相同的部署方式有其合理性,有效的 DataOps 需將多個資料系統結合成同一個可供管理的實體。如《Software Development Times》報告中所述,先前已存在的 DevOps 架構有助於推動這種轉移,因為已有採取彈性迭代作法的現成框架可供使用。
除此之外,雖然名稱類似,但 DataOps 並非僅是針對資料的 DevOps。DataOps 這種新興原則所呈現的是對資料的全新處理和互動方式,旨在提供長遠價值。DevOps 部署偏好針對問題採取對策,但 DataOps 並非這種作法,而是恰好相反。DataOps 會從既有的資料集中衍生出新的解方,縮小企業的關注焦點,並提供可據以行動的深度分析。
企業與高效 DataOps 之間存有技術問題這個潛在主要阻礙,同時人員溝通和工作場所文化方面的難題也會影響計畫推行。資料孤島是這方面最常反覆出現的問題。負責處理專門專案的團隊通常不願分享關鍵資料集的控制權,進而導致資料的儲存、管理和分析出現孤島。
要解決這種人員問題,需要全域性質的資料策略,著重在涵蓋整間企業的標準、架構和管理方式。對於大規模 DataOps 部署而言,即是要讓關鍵功能回歸到 IT 的專責範圍,並且允許所有團隊都能存取可供全體取用的相同資料池和 DataOps 計畫,以隨需應變的方式提供價值。
《資料新思維》調查顯示,42% 的跨國公司目前表示 DataOps「非常重要」,23% 認為是「無比重要」,只有 1% 表示這類計畫為業務運作的未來完全不重要。
因此若要如此形容也不誇大:DataOps 解決方案就如同相對應的 DevOps,不僅會沿用下去,還會在企業隨需應變下達決策的過程中扮演要角。然而與 DevOps 部署不同的是,DataOps 的地位之所以重要,是做為資料建立者和資料消費者之間的連結,讓員工和利害關係人能透過資訊資產來產生最大價值。
資料建立、儲存和分析的數量達到 ZB 規模,導致系統和營運兩方面都出現重重挑戰,難以發揮完整的企業價值。而 DataOps 提供了簡單安全又實惠的做法,能大規模展現資料連結本身的潛力。
歡迎深入閱讀 Seagate 的《資料新思維》報告,瞭解企業如何實際將商業資料投入運用。