一文教會你MES生產統計如何通過ODS實現

一、ODS的定位與來源

數據倉庫（DataWarehouse簡稱DW）創建的目的是用于決策支持，因此建立一個完善可靠的決策支持系統就取決于是否能建立一個好的數據倉庫。盡管基于數據倉庫的決策支持系統已被認為是一個很好的用于決策支持的方案，但由于這種體系結構將操作環境與分析環境完全分離開來，使得這一體系結構不適合于中層管理人員和即時分析處理的應用。為此提出了業務數據商店（Operational Data Stores簡記為ODS）的概念。它彌補了DB-DW兩層體系結構的不足，而形成了一種基于DB-ODS-DW的三層體系結構。

業務數據商店是用于支持企業日常的全局應用的數據集合，將它視為業務處理的基礎，它可向數據倉庫饋送數據，又稱其為操作數據存儲。保存在ODS中的數據具有以下特點：面向主題的、集成的、可變的、數據是當前或接近當前的。與DW一樣，ODS中的數據組織方式是面向主題的、集成的，因此ODS是建立在數據庫之上的，進入ODS的數據也要進行抽取、轉換和集成。不同于數據倉庫的是，ODS中存放當前或接近當前的數據，可以進行聯機修改，包括增、刪、修改等操作，因此，它們兩者的技術支持不盡相同，ODS要支持面向記錄的聯機更新，又要保證其數據與原數據庫系統中數據的一致性，因而需要的支持技術與面向應用的分散數據庫系統（DB）的支持技術一樣復雜。ODS與傳統的數據庫（DB）不同之處還在于ODS提供了全局一致的聯機事物處理（OLTP），而DB只適用于部門級的OLTP，數據庫DB、業務數據商店ODS和數據倉庫DW三者之間的比較。

表1 數據庫DB、業務數據商店ODS和數據倉庫DW三者之間的比較

二、ODS的概念及作用

ODS是一個面向主題的、集成的、可變的、當前的細節數據集合，用于支持企業對于即時性的、操作性的、集成的全體信息的需 求。常常被作為數據倉庫的過渡，也是數據倉庫項目的可選項之一。

那么為什么需要有一個ODS系統呢？一般在帶有ODS的系統體系結構中，ODS都具備如下幾個作用：

表2 ODS體系結構作用圖

表3 ODS分類和特點圖

三、ODS應用中應注意的問題

ODS雖然是一個新的提法，但就其實質內容來說，它并不是一個新的事物，ODS是基于數據倉庫的決策支持技術的另一方面或另一表現形式。因此可以用現成的數據倉庫技術（DWT：Data Warehouse Technology）來建立ODS。DWT 是指一系列方法、技術和工具，充分利用這一切便可以產生一種能在集成平臺上向最終用戶傳遞數據的載體。ODS應用主要由兩方面：一類是作為一種獨立的解決方案為需要集成操作環境的企業提供全局一致的應用；另一類是作為從DB向DW的一種過渡形式，建立一種基于DB-ODS-DW的三層體系結構的決策支持系統解決方案。

盡管創建ODS系統可以采用DWT技術，但由于通常ODS既要執行傳統的事務處理環境的功能又要執行特別決策支持環境的功能，而這兩種環境本身差異很大，充分發揮這兩種環境性能的技術是直接沖突的，因此ODS的設計是復雜的。在考慮選取哪種類型的ODS應用、體系結構是采用集中式的還是采用分布式、開發方法是采用“自上而下”的方法，還是“自下而上”的方法，這些因素都與企業自身的性質及狀況、企業規模的大小、所經營業務范圍等具體情況緊密相聯。

四、ODS的定位和作用

ODS主要為了優化報表速度，整合交互數據，擴展第三方集成為目標，形成企業數據倉庫（EDW）的基礎。ODS集成通用數據，作為輸出和展示使用的數據來源，在系統中的作用是非常重要的，在MES2.0中，以保存關系型數據為主，不涉及類似PRM的靜態數據，又或PHD的實時數據，而是以固定的業務結算單元進行數據的抽取和存儲。

MES的ODS既擁有傳統ODS的性能，也兼顧了部分DW的功能，可以說是介于兩者之間的一個綜合體，相應的為了滿足地區公司對綜合業務的需求，以及系統性能優化上，也犧牲了一些的相悖的功能。

適當控制數據粒度的同時，以DW的維度與事實存儲數據，保持了數據的頻度和穩定性，原則上作為只讀庫，同樣也在系統性能上有了大幅度的提升，不僅滿足了企業輔助決策，同時也支持了中層業務管理的需求。為了滿足保留歷史數據又兼顧系統性能，進行了數據表的拆分，可以通過配置修改ODS表中保留的數據期限，超出期限的數據歸檔到歷史數據表中，后續根據實施進程還會進一步將共性問題添加到ODS當中去。

五、ODS的現狀

ODS在總體設計階段，向MES包含范圍的其他模塊發送了收集ODS集成數據的郵件，經過總體組各方反饋，進行了ODS的設計與開發，目前ODS包含MES物料平衡、生產調度、公用工程、計量管理四個模塊，共計42張維度與事實表，6個視圖，1個存儲過程，5個包頭包體，26個計劃任務，1個序列。

表4 ODS的現狀

六、ODS的架構

ODS數據來源于基礎的業務數據庫，經過ETL的抽取和加工，存儲于ODS中，再經過進一步整合加工，提供給生產統計報表和相關展示模塊。

圖1 ODS的架構

七、ODS的構建原理及方法

圖2 ODS的創建數據對象的一般流程

目前MES的ODS表和業務數據表在同一個數據庫中，后續會將ODS遷移至獨立的表空間，ODS中的維度表是以全量的方式推送，先刪后插，在推送數據前記錄日志信息，數據推送完后修改日志的狀態；ODS中的事實表是以增量的方式推送，在推送數據前記錄日志信息，推送數據的開始時間為當前時間，業務數據增量獲取方式是通過業務數據中的修改日期字段獲取日期在最后一次推送的時間到本地推送時間段內的數據，數據推送完后修改日志的狀態。數據推送以及修改日志狀態必須寫在同一個事務中，如果出現異?；貪L，并修改日志狀態。推送數據的存儲過程創建完后，將每個模塊推送數據的存儲過程放在一個包中。

圖3 數據推送

作業

創建JOB，定義數據的抽取頻次；

根據實際情況定義JOB的執行時間，完成數據的自動抽??；

測試過程中可以人為手動執行。

歸檔

每個事實表都要對應的創建歷史數據歸檔表；

創建歸檔配置表，并配置歸檔記錄；

創建JOB調用歸檔存過程，完成定期自動歸檔。

優化

聚集索引：保證實體的完整性；加快數據庫的操作速度。

圖4 公用工程能流點數據的ODS案例

非聚集索引：大大加快數據的檢索速度；保證數據記錄的唯一性；加快表和表之間的連接，實現表與表之間的參照完整性；在使用分組和排序子句進行數據檢索時，可以減少查詢中分組和排序的時間。

視圖：方便查詢，簡化數據操作，提高數據的安全性。