中國石化打造云計算大數據平臺
 
 
摘要:隨著市場變化,為適應快節奏的工作需求,精確處理各項業務中出現的海量數據,云計算和大數據處理平臺應運而生。
 

       在新的業務模式下,中國石化需要IT敏捷化,快速靈活地支撐業務發展,運用互聯網思維,創新企業管理模式、商務模式,對內推動管理向精細化、科學化轉變,對外打造多業態的商業服務新模式,實現由生產制造商向綜合服務商轉變。
       
相互協調 互相驅動
 
      傳統的信息化建設,以煙囪模式進行,一個應用一套系統,一套應用一組資源,資源在一個應用系統內使用,資源部署周期長,資源也難以共享。
       
      在煙囪式的建設模式下,傳統的IOE系統架構無法面對上述的需求,只有將一個數據中心看作一個整體來提供資源,將每個應用看作數據中心上的一個工作任務,在整體的資源視圖模式下,進行作業的調度、管理,才能提高資源的整體利用率,應用系統的部署和使用才能高效敏捷,需要找到新的技術和方法來實現IT敏捷化。
       
      云計算的并行處理,彈性供給資源框架,利用“分而治之”方法,通過并行計算解決大型處理并將計算資源作為可計量的服務快速供給,支撐業務使用。云計算是彈性計算,其基礎設施即服務,平臺組件即服務,應用即服務,資源的按需供給,彈性計算使敏捷IT成為一種可能。
       
      數據處理也經歷了一個較大的變化過程,傳統的數據處理是一個簡單的分析系統,原先與生產交易系統通常在一起,后來逐漸剝離,成為獨立的查詢分析,逐漸演變成數據倉庫系統。隨著數據越來越多、越來越復雜、越來越實時,這就需要改進數據處理的方式,大數據平臺應運而生,對海量,多來源的數據進行處理,處理數據包括結構化數據,非結構化數據,處理方式包括離線處理、分批處理和實時處理。
       
      云計算和大數據相互協調,互相驅動發展。大數據是云平臺的一個重要應用,云平臺因為有大數據分析這一利器,更加凸顯平臺的價值和理念。
       
精心規劃 整體布局
       
      為建設敏捷的IT基礎設施,中國石化提前規劃,多方調研,精確選型、打造石化的云計算、大數據平臺。
       
      中國石化云計算、大數據平臺建設以系統平臺化、應用移動化、自主化為宗旨,以提升資源共享能力、提升數據利用能力、提升創新驅動能力為目標,結合石化應用需求和業界云平臺特點,將私有云平臺中通用云技術、互聯網云技術相互補充。
       
      結合業務流程復雜、實時性和耦合性要求高、專業化商業軟件采用通用云技術等特點,中國石化現階段在通用云技術方面選用微軟平臺,互聯網云技術方面選擇阿里技平臺。從用戶群體、系統集成、信息安全等方面考慮,與相關業務部門共同商討確定部署在公有云的應用清單。以客戶供應商訪問為主的第三方公共應用擬部署在公有云的石化專區內,便于外部用戶訪問。采用互聯網技術建設大數據分析平臺,形成大數據離線分析、批量分析和實時分析平臺,完善數據抽取、清洗,展現工具,從而搭建起中國石化云計算、大數據平臺的建設框架。
       
      云平臺服務組件層可為應用提供統一共享、彈性靈活的復用組件,支撐應用快速開發和部署;公共組件服務,降低了IT的投資成本及運維成本,縮短開發周期,打造能快速上線,能迭代開發,能持續改進的應用系統。通過“厚平臺、薄應用”的理念,各類應用軟件也開始采用并行計算,分布式模式進行重新架構,逐步云化。按照平臺層和應用層開發集中共享的應用系統,提升數據的共享,分析能力。
       
      打造持續交付平臺,將開發、測試和生產的整個生命周期,并在云環境下統一管理,實施從需求、設計,開發、部署、運維的整體云上部署戰略。建立完善云相關的制度規范,組建一體化云運營隊伍。建運結合,管理指導,服務配套,提高資源供給效率,加強各板塊的服務考核,提升服務響應能力。
       
厚平臺 薄應用
       
      中國石化采用多種技術,搭建了資源池,提供彈性資源;打造大數據處理平臺,增強數據收集、處理、建模、實時展現能力,率先實現平臺層的服務組件,在行業處于領先水平,使系統內部形成敏捷、彈性、按需供給的IT基礎環境。
       
      云平臺在統一的云門戶管理下,覆蓋集團公司總部和企業,擬覆蓋4個區域中心及相關的4個企業??偛抠Y源服務于全集團,區域中心云資源節點優先服務本區域,企業云資源節點服務于本企業。
       
      總部已經建成了集中共享資源池,云資源規模為1000臺服務器,具備大數據存儲與處理能力。 總部資源不僅包括基礎設施層資源,而且包括平臺服務組件資源,現已提供的平臺服務資源為12個組件,為應用開發打下較好的基礎。
       
云棲石化 服務大家
       
      目前,中國石化云平臺支撐了集中建設的大系統,大平臺,如易派客、第四方物流等約150個應用。并且在易派客電商、燃料油、化工銷售品、CRM等大應用的開發中,初步沉淀了中國石化的共享服務組件,如用戶中心,商品中心,訂單中心等。為其他企業使用云平臺提供了參考方案,同時也為企業的應用開發提供了共享服務組件。如燃料油、潤滑油、北京石油、廣東石油等企業采用總部的云資源搭建了互聯網應用,構筑商業生態圈。
       
      在項目使用資源時,由原來的需求,立項,采購建設等長周期過程,改為申請資源,線上審批,項目分配,郵件通知。由原來的3至6個月,縮短到現在的1至2天的審批和分配周期,應急流程可縮短到2小時以內。
       
      集中共享的云平臺建成后,改變了總部項目建設模式,由原來的煙囪模式,逐步改變成集中共享模式;改變了企業對資源建設的認識,由自建改為按需申請,并參考互聯網上的資源收費價格進行資源計量,模擬收費。輔以資源監控,項目用戶的自我監控評估,對資源的使用情況進行跟蹤,可對不足的資源提出升級流程,對富余的資源,申請回收流程,避免資源過度消費,從而降低服務器的總采購數量,節省投資,提高了資源利用率。
       
      云平臺上線后,企業新開發的系統基于云平臺進行搭建,減少了服務器資源的自建內容,緩解了企業的機房建設壓力。同時,云平臺建設采用國產硬件設備,大量引入開源產品,包括操作系統、數據庫和中間件,定制開發了云管理平臺,開源組件加定制開發,減少了對國外廠家的依賴,增加了自主可控性。
       
力保安全 持續優化
       
      結合總部和企業項目的需求,中國石化對云平臺的建設正在努力地完善中:增加云的容量,以支持更多的應用。

      增加強邏輯隔離域以支撐金融支付平臺等。
       
      增加云的組件,特別是數據保護、通訊加密、安全態勢感知等安全功能組件,提供云資源的整體安全性。
       
      增加云的地域覆蓋,加強企業的接入能力,不僅能為企業的經營管理提供資源服務,也能為企業的生產管理提供資源服務。
       
      增加云的彈性供給能力,應對客戶管理等系統B2C業務場景下大并發的用戶訪問,支持互聯網模式下“秒殺”等營銷模式等,支持改善用戶體驗。
       
      增加云的災備能力,形成多個數據中心聯動的云資源,進一步保障應用系統的安全性,提高應用系統的業務連續性。
       
      完善云管理的功能,提供云管理的監控、預警能力,提供項目、應用視角的監控。
       
      進一步完善計量收費功能,為落實按項目進行計量收費做好準備,進一步促進資源利用率的提高。
       


信息來源:中國石化雜志第10期(信息部 劉虹)
羞羞视频