福利快乐彩票开奖结果|模拟彩票开奖

新聞動態

基于VMware技術構建高校科研信息化云平臺

2019-06-17 23:38:56 19

引言

 

高校的科研信息化,很多年來并不是高校信息化投入的主要方向。但是近幾年,在和高校的用戶的溝通中,我們發現高校分管信息化工作的領導的思路正在發生著變化。高校信息化的服務化轉型、“雙一流”建設、以及數據科學和人工智能對于各個學科的交叉融合,這些都在推動科研信息化越來越被重視。

本文正是基于觀察、思考、討論和實踐,得到的一些體會,和各位讀者分享。

本文分為三個部分。首先我們要解決一個前置問題:為什么信息化云平臺對于科研如此重要;然后,我們會分析一下科研信息化云平臺的具體需求;再后,我們討論一下整體技術架構。

 


為什么信息化云平臺對于科研如此重要

 

科研的過程大致可以分為幾個階段。首先你需要有一個idea,然后你需要去驗證這個idea,最后形成paper。

圖1:科研的階段

中間的這個驗證的過程,普遍意義上大家認為各個學科的做法差別比較大,對于信息化的依賴程度也不太一樣。但是基于近年來和大量的高校老師和科研人員的交流中,作者已經越來越感覺到信息化已經成為各個學科的重要支柱。而數據科學和人工智能和各個學科的交叉和融合,更是加快了這一趨勢。

下面我們分別來看看各個大類學科的現狀:

  1. 理科:超級計算很多年來一直在支持著包括物理、化學、生物、天文、地質、生命科學等基礎學科研究。

  2. 工科:計算機科學和近期國內高校陸續成立的人工智能專業,都毫無疑問對于信息化的要求非常高。傳統的工科,比如自動化、汽車工程、機械工程等等,也依賴信息化技術來實現大量的模擬和仿真。

  3. 經濟管理:金融、會計、經濟、保險、投資… 這些學科本身就是基于數據的學科。而現代管理學,其基礎也是基于數據和統計學。

  4. 醫學:同樣,統計學大量的被應用于臨床醫學領域。人工智能也已經在醫療影像學取得了突破。大量的藥物試驗依然依賴于數據。

  5. 文科:傳統上,文科大概是最少依賴于信息化技術的,但是在前幾天(2019年4月5日)BBC新聞上我們看到,機器學習技術正在用于幫助理解楔形文字,據估計,人們已經挖掘出了約50萬塊楔形文字板,但還有很多仍深埋地下。

圖2:保存在大英博物館中的大量的楔形文字石碑

 

當前普遍的,我們看到,國內各個高校的科研信息化建設尚處在較為初級的階段。大部分都是院系各自為政,甚至是各個教研室各自為政。而部分高校成立的超算中心,由于資源和工具軟件的限制,基本上只是為部分基礎理科學科服務。這種方式其實有著很多的問題,在下一個章節我們會仔細的分析。

很多讀者可能有點不太理解,所謂科研信息化,不就是買一些電腦回來,有那么復雜嗎? 那我們下面就來看一下到底是不是買幾臺電腦就可以搞定。

 


科研信息化云平臺的需求與挑戰

 

我們分三個方面展開探討。首先是資源層面,也就是說一個實驗環境到底需要哪些資源;然后是管理層面,也就是說使用者如何獲得這些資源,當然也包括變更、歸還、復制等整個生命周期的操作;另外,還有一個很容易被忽略,但是其實非常重要的方面,就是信息安全

 

資源需求

作為計算資源的主要形式,電腦當然是首先需要的。但是這個電腦不一定只是筆記本電腦或者臺式機,很多時候,需要更加強大的服務器。可能一臺服務器還不夠,需要一組服務器才能完成科研計算的任務。近年來,大數據和人工智能對各個學科的融合,導致智能芯片的需求越來越多,包括GPU、FPGA和ASIC芯片。

有的電腦之后,首先需要的就是聯網。這個事情聽上去很容易,但是實際中,可能很多人都遇到過,找一個可用的IP地址真的不是那么容易。原因很簡單,網絡不是你規劃的,接入層交換機也不是你采購和配置的,你搬過來幾臺服務器,交換機未必有空余的網口;網段也都是事先分配好的,IP地址可能早就用完了,或者已經被別人搶占了。當然你可以自己獨立組網,那就很難與校園網或者互聯網連接,這樣你只能在充滿著噪音的機房里面工作,也沒法從互聯網直接下載資料。

存儲也很重要。現在科研大部分都是基于數據,實驗中還會產生很多的臨時數據。有結構化的數據,也有非結構化的數據。這些數據需要保存好,不能丟失。存儲的性能在很大程度上影響了計算的速度,所以很多時候存儲的性能不能太差。

除去硬件資源,還需要軟件資源。比如常見的統計類軟件SPSS,科學計算軟件MATLAB,大數據處理平臺Hadoop和Spark,機器學習框架TensorFlow、PyTorch等,還有最常見數據庫、數據倉庫等等。科研工作不但需要正版的軟件授權,還需要安裝和配置這些軟件。

 

管理需求

一個實驗環境的生命周期如下圖所示:

圖3:實驗環境生命周期

 

在這個過程中,產生了很多管理的需求,我們總結如下。

  • 用戶自服務:支持用戶通過自服務門戶自助提交申請、以及后續的所有的變更操作,所有的狀態變更都有郵件、微信或者短信通知。

  • 資源配額與審批:通過靈活的規則引擎制定配額規范,比如按照資金的投入比例,支持按照個人和團隊進行配額管理。用戶在自己的配額下無需審批,以大大減輕管理負擔。超過配額或者特殊情況,按照預設規則進入人工審批。

  • 自動化:資源的部署、變更、停止、歸檔、回收、刪除等步驟都通過自動化完成。

  • 計量計費:根據預設規則進行資源使用計量,避免濫用,方便統計;并根據實際情況進行收費或者預收費。

  • 環境復制:支持將現有環境進行復制,滿足多分支研究的需求。這樣的需求主要來自于幾個方面:一是當科研人員希望做一些不同方向的驗證,但是又不希望破壞當前的環境;二是新進入科研團隊的學生希望基于整個團隊的研究成果,在某些方面進行創新。

  • 環境歸檔:支持將現有環境停機歸檔至低成本存儲,滿足多階段研究的需求,同時又不會造成資源浪費。

  • 數據訪問與共享:支持原始數據、臨時數據和驗證后數據的保存,并且支持項目之間的數據共享。

  • 院系多租戶:從管理模式上,支持建立子資源池,院系或者科研所設定自己的管理員,自行管理。但是技術體系和運維體系依然是統一規劃、統一管理。

 

安全需求

安全在很長一段時間,在科研信息化領域都是被忽略的。但是近年的形勢發生了很大的變化,很多的高校用戶都和我們聊到這個話題。主要的原因是幾個:

  • 中國的科技水平在不斷提升,科研成果和知識產權保護的意識在不斷增強

  • 中國高校和國外高校的合作科研不斷深入,在很多的合作研究中,國外同行的知識產權保護意識很強,如果由于中方的問題,導致信息泄露,會造成學校的聲譽受損,其影響更大;

  • 科研產業化中涉及到很多第三方商業機構,如何在產業化的過程中,將知識產權和科研成果保護好,對于很多高校的科研人員來說,是個很大的挑戰。

 

當然,還有近年公布的《網絡安全法》等相關法規,都加強了科研人員的安全意識。

 

對于安全的需求,我們總結如下:

  • 基于角色的授權:大部分高校都已經建設有統一身份認證平臺,科研信息化云平臺應該與之集成,實現身份認證,并在平臺中基于角色進行訪問授權。

  • 網絡隔離:數據中心邊緣的防火墻當然很重要,但是最近的調查發現很多攻擊都是來自于數據中心內部,特別是這是一個為很多人服務的云平臺,云平臺管理員并不清楚大家都在干什么。當某個項目組的服務器出現安全漏洞,一定要把問題控制在一個小范圍。這就需要在不同的科研項目之間實現網絡隔離,必需的互訪通過白名單進行授權。

  • 安全的外部訪問:所有的外部的訪問都必須經過授權和審計,特別是跨校合作和校企合作科研。同時,USB的使用需要被授權。

  • 病毒防護和安全加固:所有的環境依然需要做好病毒防護,即使是生命周期較短的環境;所有的操作系統都必須做好安全加固,避免系統和軟件的漏洞。

  • 數據訪問與備份:所有的數據的訪問和交換都必須經過授權;非結構化數據應采用多副本存儲,結構化數據根據申請進行定期備份

 

可能很多人懷疑這個要求是不是太高了。其實安全是一個“道高一尺魔高一丈“的游戲,當你的信息有足夠的價值,就一定有人會來攻擊你。這個要求是否過高,就看你怎么看待運行之上的科研信息的價值。

如果要求科研人員自己去完成以上的工作,這顯然是不現實的。正所謂術業有專攻,科研人員應當把精力放在自己的科研領域,而非去運維一個IT系統。即使是計算機系的老師和同學,其實他們大部分人也不擅長。

所以,建設高校科研信息化云平臺的目的只有一個:

讓科研人員能夠專注在自己的科研本身,而不是IT環境。

 


科研信息化云平臺整體技術架構

 

框架結構

高校科研信息化云平臺整體框架上分為三個部分:資源平臺、服務平臺和訪問平臺。他們的關系如下:

圖4:科研云平臺框架結構

 

資源平臺對應上文提到的資源需求,提供所有的資源,包括計算資源、在線存儲、非結構化數據存儲、網絡資源、GPU資源、軟件授權等等。

服務平臺對應上文提到的管理需求,提供針對于具體科研場景的服務管理。包括服務藍圖的設計與實現、資源的申請與審批、實驗環境從創建到回收的全生命周期管理等。

訪問平臺提供靈活、安全、高效的訪問入口,將科研人員所需要的系統、應用、數據進行集中管控,并滿足從不同的設備、不同的時間、不同的地點訪問的需求。

當然,安全貫穿于所有的三個層次。

 

技術架構

具體我們可以看看具體的技術架構。

圖5:科研云平臺整體技術架構

 

資源平臺

整體資源池提供虛擬機、存儲、網絡、GPU、容器和軟件的授權等資源。從實現角度來看,所有的資源都應當是池化的,也就是說可以動態的創建、擴展和回收。

 

一個實驗環境包含以下部分:

  1. 計算:服務器虛擬化技術自然是必須的,勿用多講。

  2. 網絡:實驗環境的網絡也應該是通過軟件定義的,不應依賴于物理網絡的設置。這樣可以很容易的創建新的虛擬網段;當實驗環境需要復制的時候,也無需修改每個虛擬機的網絡設置。

  3. 存儲:存儲應該分為兩個部分來看,虛擬機操作系統和大部分的結構化數據,應當采用新一代的軟件定義的存儲,軟件定義的存儲的優勢是可以實現策略驅動,并且橫向擴展非常方便。另一個部分是大量的非結構化數據,包括文本、音頻、視頻等等,這些數據應當采用網盤存放,并且支持NFS協議的訪問。網盤的用戶界面和易用性很好,很方便可以實現數據共享;NFS協議具有通用性,可以直接mount到虛擬機中使用。

  4. 智能芯片:部分服務器應當配置GPU或者其他智能芯片,英偉達的部分GPU具有虛擬化的功能,可以將一塊GPU分成多塊GPU,可以獲得更大的靈活性。

  5. 容器云:部分運算如果需要通過容器進行管理,虛擬資源池應當提供容器云的能力,當前的容器云標準依然是Kubernetes;當然按照業界云服務的最佳實踐,容器依然是建議運行在虛擬機里面。

  6. 軟件和授權:軟件授權應該也是統一管理,通過API接口獲得授權,當然不同的工具軟件的授權方式不盡相同,這需要一個單獨的授權管理中心。當然,云平臺還應當支持工具軟件的自動化安裝和配置。

在一些用戶那里,也有可能某些場景相對簡單,從計算層面,只需要一個虛擬桌面就可以滿足需求。

下面我們談談資源平臺中關于安全的幾個模塊。

  1. 跳板機:跳板機避免了實驗環境直接暴露在公共網絡上,而且通過跳板機很容易實現各種安全策略(比如USB的限制,屏幕水印)和審計(比如錄屏)。跳板機的實現,現在大多采用虛擬桌面的方式。跳板機可以支持多個賬號同時登錄,也可以設置多個跳板機。

  2. 分布式防火墻:分布式防火墻是實現不同實驗環境之間的微分段的最佳手段。

  3. 防病毒:雖然虛擬機的模板是經過安全加固的,但是依然需要防病毒軟件保護。在虛擬化的環境下,無代理防毒是第一選擇,無代理防毒在虛擬化層進行保護,而不需要在虛擬機內部安裝防毒軟件,這對科研場景非常重要,科研環境屬于托管環境,管理員無法登陸到虛擬機內部去運維防毒軟件。

  4. 備份:這里的備份包括兩個方面。一是網盤數據的備份,二是整個實驗環境的備份。

 

為了更好的說明網絡和安全架構,我們設計了如下示意圖。

圖6:科研云平臺租戶網絡與安全架構

 

服務平臺

細化之后的實驗服務管理平臺,應當包括實驗藍圖管理、資源配額與審批、實驗環境生命周期管理、計量計費。大致的體驗如下圖所示。用戶可以看到很多的服務,這些服務都對應于一個設計藍圖,當然設計藍圖是云平臺管理員根據需求,進行設計和實現,然后發布給最終用戶。

圖7:實驗服務管理平臺示意圖

 

當用戶點擊其中一個服務(比如機器學習),用戶就可以看到如下界面。用戶可以進行資源的申請。

圖8:機器學習服務示意圖

 

關于機器學習服務的詳細介紹和具體實現方式,可以參看作者之前的文章。

《VMware云平臺加速機器學習》

《基于vRealize Automation實現機器學習云平臺》

 

訪問平臺

最后我們看一下訪問平臺。訪問平臺如下圖所示。科研人員從PC、平板或者手機登錄自服務門戶,自服務門戶上面顯示科研服務管理平臺、網盤、每個實驗環境的跳板機(虛擬桌面)的圖標,以及其他的科研資源,包括期刊搜索,查重網站等。 當用戶點擊圖標,訪問平臺會自動連接學校統一身份管理平臺進行身份驗證,并且單點登錄到相應的子系統。

圖9:科研云平臺訪問示意圖

 

技術實現

在文章的最后,我們用最短的篇幅講講具體的實現方式。這件事情要做成,需要一些成熟的產品,一些定制開發和集成能力,以及必不可少的行業理解。

在資源層面,VMware的軟件定義的數據中心,包括服務器虛擬化軟件vSphere、軟件定義的存儲軟件vSAN、軟件定義的網絡軟件NSX Data Center、容器云管理軟件PKS,都可以發揮相當的作用。網盤的產品選擇很多,很多高校也已經提供了網盤服務,可以與之做集成。VMware的Horizon View可以滿足跳板機的功能需求。大部分的防毒軟件廠商都有支持vSphere環境的無代理防毒軟件,供大家選擇。至于備份軟件,大部分的備份軟件廠商也有支持vSphere環境備份的工具。

在服務層面,VMware的vRealize套件可以提供很好的支撐,但是之上的服務目錄和設計藍圖,需要通過定制實現。

在訪問層面,VMware的Workspace ONE可以提供幾乎全部的功能。之上的服務都可以通過配置生成。

 


總結

 

科研能力支撐著國家長久的創新和發展,也是“雙一流”高校的重要建設方面。近期的中美貿易戰更是讓國人體會中美之間的競爭本質上是科技創新能力的競爭。高校科研信息化云平臺,最為一個科研基礎服務,對于科研能力的提升至關重要,猶如高鐵對于經濟的推動作用。本文基于實踐和思考,分析了科研信息化云平臺的需求和挑戰,并且給出了整體的技術架構。希望能夠和各位讀者一起討論。


福利快乐彩票开奖结果 幸运飞艇 球探棒球比分直播 华东15选5 广西十一选五 云南十一选五 体球篮球 安塔利亚网球比分 球探体育比分即时足球比分 福建36选7 云南11选5 雷速体育直播比分直播 湖北十一选五 11选5 即时赔率网 贵州快三 黑龙江11选5