蔡一郎的部落格

Yilang's Blogger

顯示具有 SC 標籤的文章。 顯示所有文章
顯示具有 SC 標籤的文章。 顯示所有文章

資訊科技的極致-SC13

Published by Yi-Lang Tsai under , on 12/06/2013 05:15:00 上午
每年舉辦的Super Computing年會,是世界上最重要的資訊科技盛會,包括了高速計算、網路技術、科學計算等領域都齊聚在一起,尤其各個國家主要的高速計算中心以及研究單位,每年都會參與並且建立彼此的研究合作關係,今年在Colorado(科羅拉多州)的Denver(丹佛)舉行,如同往年有多場的不同主題的研討以及各個參展單位的成果展覽,因應雲端時代的來臨,除了傳統的科學計算之外,今年有許多的議題皆與雲端服務有關,例如:雲端運算環境中的軟硬體架構、管理的機制、雲端上的應用服務等,在SC的年會上都能夠見識到資訊科技的極致,從應用、軟體或是硬體的設計,都是為了讓運算的能力更上層樓,也能夠解決以往無法在有效時間內解決的問題,這個也是科學進度的原動力。
SC會議希望串連全球各個主要的HPC運算中心,透過互相交流與技術合作,可以推動更多樣化的科學應用,包括解決人類所面臨到的問題,具有高速的計算能力,也可以用來代表國家對於科學研究發展的基礎建設是否足夠的指標。

每年的SC年會,除了美國的主要高速計算中心會參與之外,也有許多大學與研究單位,這些高速計算中心,大學與研究單位在應用的領域而言,是相當廣泛的,包括了流體力學、機械、結構、災防、大氣模擬、科學計算等,不同的領域都能夠將高速電腦應用得恰到好處,發展其具有的特性。

今年會議的主席是William Douglas Gropp,在致詞時也特別說明了高速計算的發展以及應用的趨勢,希望透過會議的舉行,凝聚全球的科學研究能量,應用於各領域的發展。

在高速計算領域需要解決與面對的問題,可以從今年的專題演講(Keynote Speak)Genevieve Bell所介紹的幾個面向來看,包括了Design, Logic, Control, Lies, Data, Control, Query, Knowledge等多個不同的角度,來探討高速計算在發展過程,需要解決的問題,以及這些問題背後所隱藏的意義,對於想要瞭解高速計算領域的人而言,可以更快的掌握當下最為急迫的關鍵問題為到,在研究過程可以利用已有的解決方案,縮短解決問題的時間,對於科學計算的發展,可以獲得正面的效益。

對於龐大的運算主機而言,如何掌握這些運算主機以及各個主要元件的運作狀況,屬於運算資源管理過程最要必要的,目前管理的方式除了傳統的資訊收集方式之外,視覺化的呈現介面對應到當下的運算資源,甚至是雲端運算資源的管理,都是相當重要的一件事,能夠讓系統管理人員一目瞭然當下系統的運算狀況,也可以直覺的掌握每一個執行程序、每一位使用者,以至於對於系統資源的使用情況,包括了CPU, GPU等運算資源的使用,記憶體、磁碟等儲存空間的使用情況等,這些對於高速運算主機或是設備而言,都是相當重要的,必須跳脫傳統管理系統的方式,系統管理人員對於本身的技術能量也需要跟上時代發展的腳步。

繪圖處理器(GPU)改變了傳統採用中央處理器(CPU)的運算方式,因應圖形處理以及多執行程序的需求,配合GPU可以加快傳統採用CPU運算的方式達數十倍以上,甚至可能達到百倍以上,因此對於大尺度問題的解決,在時間的節省上是最直接能夠反應採用GPU計算的價值所在,今年仍像往年一樣,許多採用GPU運算架構的硬體隨時可見,而且在架構的設計上更為緊密,甚至在一台機器內,可以使用到八張以上的GPU卡,以進行平行的運算,來縮短解出答案的時間。

日本的京電腦(K Computer)從有它之後,就一直是每年SC會議的重點,許多與會人員都想要一探其中的奧秘,當然我也不例外,在聽完相關的介紹以及深入的討論之後,對於K Computer在整個發展的過程,跟我們最大的不同,在於設計的理念,從最底層的精神就不一樣了,K Computer在設計之前,花了許多的時間進行科學應用的調查,經過嚴謹的需求分析之後,然後才有了K Computer的設計,當然其中有許多計畫彼此可能有些衝突,而無法完全的滿足所有的需求,這也是優先順序以及重要性的評估,也藉由這樣的評估程序,可以讓整個系統的設計,在規劃時就能夠確定可以符合未來在應用上的需求,其中亦有許多開創性以及前瞻性的應用,是以往可能沒有的,但是因為這樣的精神,在完成建置後,不怕找不到用戶,但反觀國內在規劃相關的設計時,都是以傳統的應用服務為主,怕失去原本的客戶而受限了,對於新的應用領域可能未經過完整的分析,當然建置後只有原本的用戶會轉移到新的主機上,對於其它的應用就無法符合對方的需求了,而國內的許多大專院校彼此競爭資源,爭相的建置計算主機,以突顯在位者的功績,而這些對於科學研究的發展,實在是沒有幫忙。

雲端的時代,當然在會場可以找到訴求雲端運算的設備,目前許多的雲端設備,包括了網路、運算主機、儲存設備以及監控管理系統,都能夠收容在一個機櫃以內,除了提供高速的計算環境之外,也提供了高達100Gbps的網路界面,可以極快速的與外界進行資料的交換,在雲端服務化的時代,在硬體技術的發展上,對於大多數的應用而言,都能夠滿足相關的需求。

今年SC會場的連外網路,仍然由SCinet負責,除了提供會場內的網路連線之外,在頻寬的擴增上,今年已達到了會場以100Gbps對外的連線頻寬,實際的網路流量也達到了近90Gbps,並且透過即時的網管平台,能夠有效的掌到各個攤位對於網路的使用情況,今年比較特殊的是,在會場也建置了帳號與密碼的監控平台,只是所使用的通訊協定是未加密的,或是不安全的,都可能遭到密碼的揭露。

高密度與集中化的設計方式,可以讓我們在輕簿短小的空間中,塞入更多且更大量的運算資源,所採用的高熱再透過節能、水冷或是熱傳導的方式,將設備所產生的熱量排出,以降低設備本身在運作時的溫度,以提供設備本身的穩定性。

目前是講求高頻寬以及巨量資料的時代,在高速計算的環境中,除了提供高速的運算能力之外,在資料的傳輸上為了提高效率,節省時間,也發展出單張網卡就具備多埠的網路界面,採用光纖網路進行資料的傳輸,將效能發揮到最高。

高速的計算伴隨而來的就是設備所產生的高熱,因此每年都可以看到一些針對降溫或是增加熱交換的解決方案,為了快速的將熱氣排出以解決溫度的問題,將設備能夠維持在穩定的溫度,避免影響運算的效能或是造成設備的當機。

小兵立大功,可用來形容以Raspberry Pi所造成的運算系統,雖然每一台的Raspberry Pi的運算能力不高,甚至談不上運算的能力或是速度,不過如果將多台的Raspberry Pi串連起來,成為一套平行運算的機器,因為建置成本相當低,因此對於一些基礎的科學運算而言,也許可以是相當好的應用環境。

每年的SC都有它的主軸,也都各具有自己的特色,從1988年到今年,已舉辦了相當多屆,因為工作的關係,個人參加了2004年、2012年以及2013年的會議,而個人所服務的中心,今年是第15年參加這個會議的展出,也是台灣唯一參加的高速計算中心,每年的展場以及議程,都與當下最新的科學研究發展趨勢有關,除了瞭解了資訊科技的進步之外,對於科學的研究,也能夠瞭解最新的突破,以及運用高速計算來解決的問題。


相關網站:

淺談目前雲端計算與資料中心技術

Published by Yi-Lang Tsai under , , on 11/29/2012 09:11:00 下午
雲端運算(Cloud Computing)是目前相當熱門的話題,許多原本的資訊服務都得冠上「雲端」這兩個字,最近有機會前往美國鹽湖城(Salt Lake City)參加今年的SC 12(SuperComputing 2012)會議,有機會看到在高速計算的發展,展場有許多的研究單位以及廠商,都提供了許多新的設計、架構與目前的軟硬體的發展趨勢,可以讓與會的人員瞭解與掌握高速計算在未來的發展與應用。

在Youtube上有段影片個人覺得滿好的,以全球最大的Data Center為場景,介紹整個架構與環境,其中有許多新型的設計,與此次在SC 12見到的一些概念相當雷同。

(資料來源:ovh.com)

高密度的運算環境,第一需要解決的問題,就是這些設備所產生的「熱」,無法排除設備所產生的熱能,主要會影響設備上電子零件的運作,大多數零件的工作溫度,並無法在高熱的環境中運行,此次在SC 12有許多的廠商都針對如何排除熱量,有不少的解決方式,不過以「液態冷卻」的方式來排熱,是大多數廠商的共識,差別在於彼此的設計不同,以及能夠適用的設備上的限制。


對於高密度的主機而言,「熱」是最麻煩的,也是最需要處理的,許多的電子零件到達可以承受的溫度之後,就會開始出現當機或是不正常的運作情況,因此目前針對運算用的設備,也有幾種不同的設計方式出現,第一種是改善散熱的能力,例如:改良進氣與熱氣散出設備的路徑,第二種是使用液態冷卻的方式,直接將冷水或常溫水送進設備,最後將熱帶走,也有一種架構是直接將電路板浸在液態溶夜中,當然這種溶夜一定是絕緣的,第三種則是設計出高溫可以運作的元件,這些做法都可以讓高密度的設備,能夠解決「熱」所造成的問題。

在今年的會場,中央處理器的龍頭Intel也展示了新一代的CPU-Xeon Phi,由現場展示的設備看來,在目前常見的機架型伺服器中,早已內建了GPU運算的介面卡,看來未來真的是GPU視算的世代了。


CRAY算是相當老牌的Super Computer公司,不過因為X86架構的流行,除了特定的用戶外,已經比較少聽到了。

運算機房的管理,當設備的數量以及空間越大時,就必須藉助一些工具才能夠讓管理的工作更加的容易,其中又以視覺化的操作平台,對於人員的培訓而言,算是最為容易的,可以直接看到發生問題的地點、設備或是目前的使用情況,這點對於資源的管理而言是相當好用。

有的設備商為了展示整體的架構,還把整台行動展示中心也開到展覽場中,在這個展示空間可以直接使用行動通訊的服務,快速的掌握網路上的資料。

高速的運算可以解決許多我們所面臨的問題,有些需要跨平台的整合,有些需要軟體的開發以及硬體的搭配,在每年的SC會議,都能夠藉由參展廠商或是研究單位的投入,讓與會人員掌握未來一到二年的發展趨勢。

參考資料:
SC 12 http://sc12.supercomputing.org/



Super Computing 2012紀要

Published by Yi-Lang Tsai under , , , on 11/24/2012 12:47:00 上午
今年的SC 2012在鹽湖城舉行,服務的單位也如往年一樣,參加了這次的會議,也趁著這個機會分享與展示相關領域的研究成果,目前有一些新興的計畫正在推動中,例如:算圖農場、AR或是資安等,以及往年的成果,其它同事團隊發展的「龍」家族,也是許多訪客詢問的焦點,其實參展除了展示目前的研究之外,最重要的是建立與其它研究組織的人際網路,未來可以有機會更多的合作,共同參與研究的主題,也是與國際接軌的主要方式之一。

在攤位上的看板介紹,提供了更完整且詳細的資料,也把相關的計畫或是成果的網址,編成了QR Code,直接使用條碼的掃瞄程式,就可以很快的取得相關的資訊與網址,算是相當方便的設計,尤其在智慧手機或是平板上,要輸入一長串的網址,總是滿累人的。

 今年也幫忙負責會場的網路環境,出發同事已幫忙完成相關的環境的設定,大幅減少了在現場調整的時間,在會場依狀況,重新修訂了VLAN的ID後就搞定了,還算是順利的提供展示環境以及處理公務時需要的網路,現在出門在外,沒有網路還真的是沒法生活,看來大家都被網路所制約了,隨時要看一下有沒有電子郵件、開一下網頁等等,不然就覺得混身不自在。

會場的網路由SCinet提供服務,因此連上線後,總是要看一下他們所提供網管介紹,也做為未來開發與改善現有平台的一些想法,直覺式的操作與查詢方式,可以讓人很快的找到需要知道的資訊,也可以利用圖像化的方式,直接知道目前設備的狀態,算是相當貼心的設計。

攤位旁的大地球,是Internet 2用來展示用的「球形投影」,利用四台投影機在球上打出生動的影像,滿吸引人目光的,也因為有它的協助,有許多聽完簡報後就直接再到我們的攤位瞭解一些展示的項目,算是另一項收獲。

這次來SC 12,主要是幫忙展示資安團隊所開發的平台,這得感謝團隊中的幾位重要成員:俊榮、柏毅、敏乘、勝翔、成權等,幫忙開發與改善TWMAN這個平台,讓這個平台可以讓更多需要的人使用。

旁邊的攤位就是NASA,當然要去聽一下登陸火星的計畫,會場也展示了登陸艇用的輪子,也看了整個計畫的規劃、設計以及最後登陸成功的實況,令人更瞭解整個計畫在執行上的複雜度。

在NASA的展場有真實比例的模型,也是滿精細的,雖然無緣看到真的登陸艇,不過看看仿真的模型,也是滿不錯的。

利用Google Earth來做各種應用,已成為目前的主流之一,Internet 2將各主要骨幹線路的流量,直接套用在地球上的,並且可以利用觸控的方式,選擇與指定想要看的項目,或是瞭解網路接取的地區,目前的流量大小等,也給人耳目一新的感覺,未來這個應該會是許多網管中心必要的平台吧,單純看流量統計圖的時代應該過去了,再來是視覺化資訊的時代。



這次負責展示的主題是TWMAN,除了投影片介紹之外,還準備了互動的平台,可以詢問的參觀者更容易瞭解目前所使用的技術,以及分析資料的方式,這些雖然與高速計算還沒連接上,不過許多人也提供了一些建議,例如:Big Data怎麼應用HPC進行分析,或是有什麼分析的工具,可以改善目前平台的問題,這些對於一個平台的發展而言,是相當重要的,來自使用者或是第三者所提供的意見,往往是滿有參考價值的,也是一個平台能夠持續成長的動力之一。

這次的互動式展示,就是我們幾位負責了,分別是敬堯、芳安以及我,幾天下來的生意還不錯,累積了二百多位的訪客喔!。

SC 13在Denver舉行,會場已出現主辦單位的吉祥物,藍色的熊,害我一時想起小朋友的童書「棕色的熊,你在看什麼?」,雖然我不知道為什麼「熊」會是藍色的,不過還是合影留念一下。


相關網站:
SC 12 http://sc12.supercomputing.org/
SC 13 http://sc13.supercomputing.org/