2016年 3月 17日
国立研究開発法人海洋研究開発機構
1.概要
国立研究開発法人海洋研究開発機構(理事長 平 朝彦、以下「JAMSTEC」)地球情報基盤センターの坪井誠司部長らの研究グループは、世界最高精度での全球地震波伝播シミュレーションに成功しました。
JAMSTECが代表機関を務めるHPCI戦略プログラム分野3(※1)では、地震・津波に係る防災・減災に資するシミュレーション研究として、地震の予測精度の高度化に関する研究のための地球内部構造決定の高精度化を目指しています。このためには、地震発生により地球全体を伝播する地震波を理論的にシミュレーションすることが必要です。地球はもし完全な球であれば、その上を伝わる地震波は理論的に表すことができますが、実際にはわずかに球からずれているためにそういった方法を用いることはできず、コンピュータによる近似的な解き方により理論地震波形をシミュレーションすることが一般的です。研究グループでは2003年に当時世界最速のスーパーコンピュータであった「地球シミュレータ」を用いて、初めて完全な球ではない現実的な地球モデルに対して地震波形を周期5秒の精度で全球地震波伝播シミュレーションすることに成功しました。しかしながら、地球上を伝播する地震波の解析には周期1秒の実体波(P波およびS波)が必要なことが知られており、周期1秒の精度での理論地震波形記録シミュレーションは大きな目標でした。
今回、スーパーコンピュータ「京」(※2)を用い、理論地震波形記録シミュレーションのための数値解法であるスペクトル要素法(※3)のプログラムを最適化することにより、周期約1.2秒の精度という世界最高精度での全球地震波伝播シミュレーションに成功しました。この成果は、周期1秒の精度で全球地震波伝播シミュレーションを実行することがコンピュータの性能向上により近い将来、実現可能であることを示しており、地震発生メカニズムの解明および地球内部構造の精密な決定の応用への可能性を示した点で、地震や津波などの防災・減災への大きな貢献が期待されます。
なお、本研究は、文部科学省によるHPCI戦略プログラム分野3「防災・減災に資する地球変動予測」の研究課題「地震の予測精度の高度化に関する研究」(課題代表者 古村孝志、課題番号 hp140221)の一環として実施されたものです。
本成果は、計算機科学の専門誌「International Journal of High Performance Computing Applications」オンライン版に2月29日付け(日本時間)で掲載されました。
タイトル:A 1.8 trillion degrees-of-freedom, 1.24 petaflops global seismic wave simulation on the K computer
著者:坪井誠司1、安藤和人1、三好崇之1、Daniel Peter2、Dimitri Komatitsch3、Jeroen Tromp4
1. 海洋研究開発機構、2. アブドラ王立科学技術大学、3. エクス=マルセイユ大学、4. プリンストン大学
2.背景
地球内部の構造がどのようなものとなっているかは、表面で観測される地震や火山などの地球物理学的現象の原因を考える上で重要な研究テーマです。このためには、地震発生で生じた地震波を用いる地震学的手段による研究手法が極めて有効です。地震発生により地球内部を伝播する地震波は、弾性体力学の運動方程式で記述され、地球が完全な球であるならば理論的に表すことができます。しかしながら、地球は回転楕円体の形状をしており、地球内部の構造も球対称構造からのずれの成分は大きく、理論的に地震波をシミュレーションするためにはそういった方法を用いることは期待できません。一方、地球を構成する岩石の弾性的性質により、地震波のP波およびS波では地震波形データを解析するための地震波形は周期1秒の精度が必要であることが知られています。したがって、観測された地震波形を再現する理論地震波形をシミュレーションする上で周期1秒の精度は到達すべき大きな目標でした。近年、大型計算機の発展と共に、コンピュータによる近似的な解法を使用して理論的な地震波形をシミュレーションする手法は大きな進歩を成し遂げてきました。研究グループでは2003年に当時世界最速のスーパーコンピュータであった「地球シミュレータ」を用いて、初めて完全な球ではない現実的な地球モデルに対して周期5秒の精度で全球地震波伝播シミュレーションすることに成功しました(平成15年12月5日既報)。全球地震波伝播シミュレーションでスペクトル要素法によるシミュレーションを実施する際、地球モデルの分割は地球全体を6個の四角錐に分割し、それぞれの四角錐をさらに細かい四角錐に分割してスーパーコンピュータの個々のCPUに割り当てて計算を実行します(図1)。現実的な地球モデルに対して全球を伝播する地震波形を周期1秒の精度でシミュレーションするためには、このような分割を2003年当時の54億個の格子点に対して、さらに数十倍の細かさで行うことが必要であり、計算規模が大きすぎるために莫大なCPU数とメモリが必要でした。
3.成果
今回のシミュレーションでは、スーパーコンピュータ「京」の82,134ノード(全ノードの99%)を用い、「地球シミュレータ」で理論地震波形記録シミュレーションを実行してきたスペクトル要素法のシミュレーションプログラムを用いて、現実的な地球モデルを6,652億個の格子点に分割することで周期約1.2秒の精度での全球地震波伝播シミュレーションに成功しました。これまでの記録は2008年に米国のグループが達成した約2秒の精度でのシミュレーションでした。
スーパーコンピュータ「京」上で大規模なシミュレーションを実行して十分な性能を発揮するためには、スペクトル要素法のプログラムを最適化することが必要でした。今回、プログラム中の計算量の8割を占める部分の最適化を図り、スーパーコンピュータ「京」の1ノードである8CPUを用いて計算量を分割した場合の性能向上が7.89倍となりました(図2)。さらに、並列計算での性能を示すストロング・スケーリング(※4)でも、同じ規模の計算を36,504ノードで実行した場合と比較して、82,134ノードでの結果は99.54%の性能を示すという、極めて良好な結果が得られました。2003年当時、地球シミュレータの243ノードを用いたシミュレーションの実効性能は5テラフロップス(※5)でしたが、82,134ノードを用いた計算では、実効性能が1.24ペタフロップス(ピーク性能比11.84%)という高い性能を実現しました。
このシミュレーションでは、2011年東北地方太平洋沖地震(マグニチュード9.0)で生じた地震波を日本列島付近の地震観測点で観測された地震波形と比較することを試みました(図3)。長野県松代の地震観測点における地震波形と理論波形を比較した結果は良い一致を示しており、地震の初期破壊の様子を周期1.2秒の精度でシミュレーションした理論地震波形が良く再現していることを示しています。
4.今後の展望
今回のシミュレーションでは、スーパーコンピュータ「京」の82,134ノード(全ノードの99%)を用いて、7分間の継続時間を持つ周期約1.2秒の精度の理論地震波形を6時間の計算時間でシミュレーションすることが出来ました。この理論地震波形を観測波形と比較して地震発生メカニズムや地球内部構造の研究に用いるためには、少なくとも30分間の継続時間を持つ理論地震波形を周期1秒の精度でシミュレーションすることが必要です。このシミュレーションでは、82,134ノードでのストロング・スケーリングが99%以上という結果を示しており、より多くのノードを用いた計算でも十分な実行効率が期待できることを示しています。周期1秒の精度でのシミュレーションを実現するためには少なくとも、110,000ノードでの実行が必要と推定されますが、「フラッグシップ2020プロジェクト(ポスト「京」の開発)」(※6)で進められている次世代のスーパーコンピュータでは十分実現可能な計算資源と考えられます。今回の結果に基づいて、今後も周期1秒の精度での理論地震波形記録シミュレーションの実現に向けてシミュレーションの高度化を進め、地震発生メカニズムの解明および地球内部構造の精密な決定を通して、地震や津波などの防災・減災へ貢献していきたいと考えています。
<用語解説>
※1 HPCI 戦略プログラム 分野3「防災・減災に資する地球変動予測」:
国立研究開発法人海洋研究開発機構が代表機関を務め、「地球温暖化時の台風の動向の全球的予測と集中豪雨の予測実証、および次世代型地震ハザードマップの基盤構築と津波警報の高精度化」を戦略目標とするプロジェクト。
※2 スーパーコンピュータ「京」:
文部科学省が推進する「革新的ハイパフォーマンス・コンピューティング・インフラ(HPCI)の構築」プログラムの中核システムとして、理研と富士通が共同で開発を行い、2012年9月に共用を開始した計算速度10ペタFLOPS級のスーパーコンピュータ。
※3 スペクトル要素法:
微分方程式の数値解法の一つで、有限要素法の基底関数として高次の多項式を用いたもの。これにより通常の有限要素法よりも高精度の結果が期待される。また、シミュレーション対象とする領域の分割の結果が並列計算に適したものとなることがあり、大規模並列計算機を用いた数値シミュレーションに向いている。
※4 ストロング・スケーリング:
大規模な数値シミュレーションを実施する際に、規模の増加に応じて計算効率が維持できるかを示す指標の一つ。全体の問題の大きさを保ってCPU数を増やしたときに計算の実行時間がどのように変化したかで定義される。
※5 実効性能5テラフロップス
理論性能であるピーク性能に対して、実効性能とはあるプログラムを実行した時の計算性能であり、これが計算機の実質的な性能とされる。5テラフロップスとは1秒間に5兆回の計算が可能という意味。
今回の計算の1.24ペタフロップス(ピーク性能比11.84%)とは1秒間に約1200兆回の計算が可能なことを意味しており、スーパーコンピュータ「京」の82,134ノード使用時のピーク性能10.51ペタフロップスとの比較では11.84%に相当。超大型並列計算機のピーク性能比で10%を超えることは極めて高い数値。
※6 フラッグシップ2020プロジェクト(ポスト「京」の開発):
2014年度から開始された文部科学省の「ポスト「京」開発事業」。プロジェクトでは2020年をターゲットとし、世界最高水準の汎用性のあるスーパーコンピュータと、我が国が直面する社会的・科学的課題の解決に資するアプリケーションを協調的に開発する。