プレスリリース
2017年 11月 14日
株式会社ExaScaler
株式会社PEZY Computing
国立研究開発法人海洋研究開発機構
スーパーコンピュータシステム「Gyoukou（暁光）」が
スパコンランキングTOP500で国内1位（世界4位）・Green500で世界5位を
同時に獲得
1．概要
株式会社ExaScaler（代表取締役社長 木村 耕行、以下「ExaScaler」）及び株式会社PEZY Computing（代表取締役社長 齊藤 元章、以下「PEZY Computing」）が共同開発し、国立研究開発法人海洋研究開発機構（理事長 平 朝彦、以下「JAMSTEC」）横浜研究所に設置した大規模液浸型スーパーコンピュータ「暁光（Gyoukou）」は、世界のスーパーコンピュータシステムのランキングである「TOP500」（※1）で国内第1位（世界第4位）、エネルギー消費効率の良いスーパーコンピュータシステムのランキングである「Green500」（※2）で世界第5位を同時に獲得しました。
本ランキングは、米国コロラド州・デンバーで11月12日より開催中のスーパーコンピュータの国際会議であるSupercomputing Conference （SC17）で米国東部標準時（EST）11月13日午前9時（日本時間11月13日午後11時）に公表されました。詳細な順位は、下記のホームページにて公開されております。
【TOP500リスト】https://www.top500.org/lists/
【Green500リスト】https://www.top500.org/green500/lists/
2．「暁光（Gyoukou）」について
「暁光（Gyoukou）」は、PEZY Computingが新規に独自開発した最新のメニーコアプロセッサ「PEZY-SC2」を基幹プロセッサとして採用した「ZettaScaler-2」シリーズからなり、1筐体（液浸槽）で2.0 PFLOPSクラスのピーク性能を目指し開発が進められているスーパーコンピュータシステムです。ExaScalerの液浸冷却技術とシステム化技術を用いて高密度実装を実現するとともに、高い冷却効率を実現することで、消費電力の低減を図っています。本年6月に発表された前回の「TOP500」ランキングでは、システムのごく一部の稼働ながら、世界69位にランキングされました。また、それ以降、システムボード全数を各種の改良を盛り込んだ最新の「ZettaScaler-2.2」に更新した上で、稼働システム規模の拡大とソフトウェアの最適化を行い、更なるシステム性能の改良を図って参りました（以上、平成29年10月26日にExaScaler及びPEZY Computingより既報；http://www.exascaler.co.jp/wp-content/uploads/2017/10/ExaScaler_PR_20171026-Gyoukou.pdf）。
この度、システム規模19.5筐体相当（CPU数10,000個）の構成で、LINPACK性能（※3）は19.14PFLOPS（ペタフロップス）（※4）、実行効率（※5）は67.9％、消費電力当たりの演算処理性能は14.17GFLOPS/Wを達成し、「TOP500」及び「Green500」のランキングに性能登録をいたしました。「TOP500」及び「Green500」への登録は、主催者規定によりシステムが設置されている「サイト」が行うこととされており、「暁光」についてはJAMSTECがこれを行っております。その結果、米国東部標準時（EST）11月13日午前9時（日本時間11月13日午後11時）に公表された「TOP500」で国内第1位（世界第4位）、「Green500」で世界第5位を同時に獲得しました。
なお、システム開発にあたり、ExaScalerは国立研究開発法人科学技術振興機構（JST）の「産学共同実用化開発事業（NexTEP）未来創造ベンチャータイプ」の支援を受けております（課題名「磁界結合DRAM・インタフェースを用いた大規模省電力スーパーコンピュータ」）。また、基幹プロセッサであるPEZY-SC2開発にあたり、PEZY Computingは国立研究開発法人新エネルギー・産業技術総合開発機構（NEDO）の「戦略的省エネルギー技術革新プログラム」の支援を受けております（課題名「非接触型磁界結合通信を用いた高密度実装プロセッサデバイスの開発（実証開発フェーズ）」。
3．今後の展望
ExaScalerとPEZY Computingは、引き続きJAMSTEC横浜研究所において「暁光（Gyoukou）」の開発を継続しております。将来的には、筐体数をさらに増加させる（約100筐体を目標）とともに、世界で初めてTCI（Thru Chip Interface：磁界結合インタフェース）（※6）を用いたDRAMとの接続を行うことによって超高帯域なメモリバンド幅を実現するなどの新たな技術も導入し、より高い演算処理性能とより良いエネルギー消費効率を目指して参ります。
【用語解説】
※1 TOP500
世界のスーパーコンピュータシステムのランキングであり、International Supercomputing Conference (ISC)（6月開催）、及びSupercomputing Conference (SC)（11月開催）に合わせ、年2回発表されている。LINPACK性能に基づき、上位500位までのスーパーコンピュータが発表される。
【TOP500リスト】https://www.top500.org/lists/
※2 Green500
TOP500と同時に発表される、エネルギー消費効率の良いスーパーコンピュータシステムのランキング。TOP500にランキングされたスーパーコンピュータシステムを、消費電力1ワットあたりの演算処理性能（LINPACK性能）（単位：FLOPS/W）により順位付けする。
【Green500リスト】https://www.top500.org/green500/lists/
※3 LINPACK
LINPACKは、米テネシー大学のジャック・ドンガラ（Jack J. Dongarra）博士らが開発した、コンピュータの性能計測（ベンチマーク）プログラム。規則的な行列計算により連立一次方程式の解を求めることで、主に浮動小数点演算の性能を計測することができ、ハードウェアのピーク性能に近い性能を出しやすい。
TOP500は、このLINPACKをベンチマークとして求めたスーパーコンピュータの性能（LINPACK性能）を比較することで、世界のスーパーコンピュータのランク付けを行っている。
※4 FLOPS（フロップス）
FLOPS（フロップス）は、スーパーコンピュータの処理速度を表す単位であり、1秒間に実行できる浮動小数点数演算の回数を示す。1GFLOPS（ギガフロップス）は、1秒間に10億（10の9乗）回、1PFLOPS（ペタフロップス）は、1秒間に1,000兆（10の15乗）回の浮動小数点数演算を行うことを意味する。
※5 実行効率
ベンチマークを用いて実際に測定された性能（Rmax）と、理論上のピーク性能（Rpeak）の比（Rmax/Rpeak）。
※6 TCI（Thru Chip Interface：磁界結合インタフェース）
慶応義塾大学黒田研究室で開発された磁界を用いた独自の無線通信技術。従来半導体の集積度を高めるために用いられているTSV（シリコン貫通電極）による有線接続方式と比較して低消費電力ながら高速な通信が可能となり、半導体のウェハを三次元に積層させる技術や、メモリ（DRAM）とプロセッサ間の通信において大きな優位性が期待されている。
今回申請時の「暁光（Gyoukou）」の主な仕様
| 使用システム | ZettaScaler-2.2 | 6月時点のZettaScaler-2.0より更新 |
| 使用ホストCPU | Intel Xeon D | 16コア、1.3GHz駆動 8個のPEZY-SC2に対して1個使用 |
| 使用プロセッサ | PEZY-SC2 | 1,984コア、700MHz駆動 |
| 使用プロセッサ数 | 10,000個 | 19.5筐体（液浸槽）相当 |
| 総プロセッサコア数 | 19,860,000コア | TOP500ランキング上の最多コア数 |
| 主記憶メモリ | 16GB DDR4 DIMM | 4ch、2,400MHz駆動 |
| 総主記憶メモリ容量 | 680.0TB | Intel Xeon Dに32GB、PEZY-SC2に64GB |
| Rmax値（実行性能） | 19.14PFLOPS | ベンチマークを用いて実際に測定された性能 |
| Rpeak値（理論性能） | 28.19PFLOPS | 理論上のピーク性能 |
| 消費電力 | 1,350kW | Green500ルール準拠の計測器での実測値 |
| 消費電力性能 | 14.17GFLOPS/W | 実効性能 / 消費電力 |
| 電力供給 | 三相200V | システムボード上は48V直流給電 |
| ネットワークカード | InfiniBand EDR | 100Gbps、8個のPEZY-SC2に対して1枚使用 |
| 冷却方式 | 液浸冷却 | 施設冷水との熱交換 |
※データはTOP500・Green500登録時点での値。
「暁光（Gyoukou）システム全景」 （写真：株式会社ExaScaler ）
- （液浸冷却技術、システム化技術等について）
- 株式会社ExaScaler
- CTO 鳥居 淳
- （プロセッサ、モジュールカード等について）
- 株式会社PEZY Computing
- 広報担当 佐藤 路恵
- （JAMSTEC横浜研究所の施設・設備について）
- 国立研究開発法人海洋研究開発機構
- 地球情報基盤センター 企画調整室 室長 岡山 裕一