北(bei)京(jing)2020年7月14日(ri) /美(mei)通社/ -- 數(shu)據之于(yu)人工智能(neng)(neng)就如同燃油(you)之于(yu)汽車。人工智能(neng)(neng)模型開(kai)發需要輸入海量訓練(lian)數(shu)據，單個樣(yang)本數(shu)據集(ji)大小即(ji)可(ke)達到(dao)上百GB，如果采(cai)用人工拷(kao)貝、搬運數(shu)據，不(bu)僅(jin)費(fei)時費(fei)力，而(er)且存(cun)在數(shu)據沖突(tu)和數(shu)據安(an)全風險(xian)，在這種情(qing)況下，數(shu)據對(dui)于(yu)AI模型訓練(lian)來(lai)說不(bu)是(shi)“加油(you)”，而(er)是(shi)成為模型開(kai)發的(de)瓶(ping)頸(jing)，影響企(qi)業(ye)(ye)AI應用效(xiao)率。浪潮(chao)AIStation企(qi)業(ye)(ye)級人工智能(neng)(neng)開(kai)發平臺，可(ke)以一站式進(jin)行(xing)AI模型開(kai)發和部署，在數(shu)據管理方面可(ke)實(shi)現集(ji)中管理，兼(jian)顧讀取速(su)度與安(an)全性，打破數(shu)據孤島和IO瓶(ping)頸(jing)，幫(bang)助用戶獲得200%-300%的(de)開(kai)發效(xiao)率提升(sheng)。
可視化&多種數據訪問方式 兼顧便捷與數據安全
AI開(kai)發涉及的數(shu)(shu)據包括樣本數(shu)(shu)據集、模型文件(jian)等(deng)，種類非常多，格式和(he)特性各(ge)異。此(ci)外，AI開(kai)發需(xu)要企業內(nei)各(ge)業務(wu)組的協同工(gong)作，必(bi)須有完善(shan)的數(shu)(shu)據管理機制保障(zhang)數(shu)(shu)據的流通和(he)共享(xiang)，否則就會存(cun)在數(shu)(shu)據冗余(yu)、版本沖突(tu)、權限控制等(deng)方面的問題(ti)。
AIStation平臺內置數(shu)據(ju)管理(li)(li)模塊，可(ke)無縫對接各類存(cun)(cun)儲系統，提供可(ke)視化界面對數(shu)據(ju)進行(xing)集中管理(li)(li)。開(kai)發人員(yuan)可(ke)在數(shu)據(ju)管理(li)(li)界面快速上(shang)傳數(shu)據(ju)，并通過目錄(lu)掛載的(de)方式實時調取數(shu)據(ju)，進行(xing)數(shu)據(ju)預處理(li)(li)、模型(xing)開(kai)發、模型(xing)調試(shi)等工作。訓練結(jie)束后，用戶可(ke)按(an)需保(bao)存(cun)(cun)、上(shang)傳、共享模型(xing)文件。
AIStation提供(gong)了(le)個人數(shu)(shu)(shu)據(ju)、組(zu)內(nei)數(shu)(shu)(shu)據(ju)和(he)公共數(shu)(shu)(shu)據(ju)三種數(shu)(shu)(shu)據(ju)訪問控(kong)制(zhi)方式，滿足了(le)企業內(nei)部(bu)用戶數(shu)(shu)(shu)據(ju)隔離與共享的需(xu)求(qiu)。并為每個用戶和(he)部(bu)門創建了(le)不(bu)同的命(ming)名空間(jian)，以及相應的權限控(kong)制(zhi)功能，讓開發人員能夠根據(ju)業務需(xu)求(qiu)靈活共享數(shu)(shu)(shu)據(ju)，并保障數(shu)(shu)(shu)據(ju)安全(quan)。
數據緩存加速，訓練效率提升200%-300%
數據輸(shu)(shu)入(ru)輸(shu)(shu)出是影響模型訓練周期的(de)重(zhong)要(yao)(yao)因素。即使(shi)GPU性能再強，也(ye)需(xu)要(yao)(yao)高(gao)性能的(de)輸(shu)(shu)入(ru)/輸(shu)(shu)出系統不斷的(de)將數據傳送給(gei)GPU進行(xing)運算。輸(shu)(shu)入(ru)的(de)樣本(ben)數據通常(chang)是小文件(jian)，并且在(zai)迭(die)代過程中會隨機讀取樣本(ben)進行(xing)訓練，產生較高(gao)的(de)隨機讀負載(zai)。而AI企業一般(ban)使(shi)用(yong)共享存儲或(huo)者分布(bu)式存儲管(guan)理數據，計算節點(dian)通過網絡(luo)掛(gua)載(zai)的(de)方式訪問存儲數據，這樣即便(bian)使(shi)用(yong)萬(wan)兆網絡(luo)或(huo)者Infiniband網絡(luo)，也(ye)有可能存在(zai)數據帶寬(kuan)不能滿足GPU計算輸(shu)(shu)入(ru)的(de)問題。
AIStation綜(zong)合考慮AI計算對數據I/O的需求(qiu)以及企業內部的實際場景，通過數據緩存機(ji)制滿足(zu)高性(xing)能計算需求(qiu)，可讓模型(xing)訓練效(xiao)率獲得(de)200%-300%的提(ti)升，縮短模型(xing)開發周期(qi)。
AIStation可在各計算(suan)節點劃分數據(ju)緩(huan)存(cun)區域，用來臨時存(cun)放用戶訓(xun)練(lian)(lian)所需的(de)(de)(de)(de)樣本(ben)數據(ju)，通(tong)過本(ben)地SSD盤的(de)(de)(de)(de)高速I/O降(jiang)低數據(ju)讀寫延遲。此外，AIStation會根據(ju)節點的(de)(de)(de)(de)數據(ju)緩(huan)存(cun)情況自(zi)動調度(du)訓(xun)練(lian)(lian)任(ren)務，從(cong)而避免訓(xun)練(lian)(lian)數據(ju)的(de)(de)(de)(de)重(zhong)復下(xia)載(zai)，節省數據(ju)加載(zai)時間(jian)，加速模(mo)型訓(xun)練(lian)(lian)進度(du)。并(bing)且支持數據(ju)自(zi)動下(xia)載(zai)和數據(ju)緩(huan)存(cun)管理。
安全沙箱技術，為數據隱私護航
數(shu)據(ju)(ju)安全對企業AI開發(fa)(fa)至(zhi)關重要(yao)，一套優秀的數(shu)據(ju)(ju)管理(li)解決方案(an)必(bi)須能夠保證數(shu)據(ju)(ju)安全，確保數(shu)據(ju)(ju)不會發(fa)(fa)生增(zeng)加、修改、丟失和泄露等。
AIStation采用安(an)全沙箱技術，將(jiang)企(qi)業數(shu)(shu)據(ju)(ju)(ju)存(cun)儲(chu)區(qu)域與個人數(shu)(shu)據(ju)(ju)(ju)區(qu)分(fen)開，保證數(shu)(shu)據(ju)(ju)(ju)隱私安(an)全。管理員(yuan)可以設置數(shu)(shu)據(ju)(ju)(ju)下載權限，限制指定用戶或(huo)用戶組(zu)的下載功(gong)能(neng)(neng)，使涉密數(shu)(shu)據(ju)(ju)(ju)只能(neng)(neng)在平臺內部使用，保障企(qi)業數(shu)(shu)據(ju)(ju)(ju)的安(an)全性。
此外(wai)，AIStation可實現數據自動多副本備份(fen)，降低宕機(ji)等原因導致的(de)系(xi)統中斷對AI開發的(de)影響。
浪潮AIStation平(ping)臺針對AI開發中(zhong)的(de)數據(ju)(ju)管理問(wen)題輸出(chu)整體解決方案，可以幫助企(qi)業用戶(hu)建立穩(wen)定高性能(neng)的(de)數據(ju)(ju)管理機(ji)制，消除數據(ju)(ju)安(an)全、數據(ju)(ju)沖突、帶寬延時等問(wen)題，讓(rang)模型訓練(lian)效率獲得200%-300%的(de)提升，顯(xian)著提升企(qi)業AI研發效率。
除了數據，AIStation還能高效管理計算資源、開發環境，幫助AI用戶提高計算資源利用率，秒級構建開發環境，加速AI研發創新進程(cheng)。
