更新:2004年06月01日

AFES による全球大気の超高解像度シミュレーション

はじめに | AFESのベクトル並列最適化 | シミュレーション | 結論

本研究は、地球シミュレータセンターと地球フロンティア研究システムの共同で行われています。

はじめに

大気大循環モデル AFES (AGCM for Earth Simulator) は、地球シミュレータのハードウェア性能を最大限に引出すように開発されました。AFES は、CCSR/NIES AGCM を参考にして作られた、スペクトル法を用いた全球3次元の静力学モデルです。 この AFES と地球シミュレータの組み合わせにより、世界で初めて T1279L96(水平解像度が赤道上で 10 km、鉛直は96層で地表付近は約 20 m 間隔、対流圏中層から成層圏下層までは約 500 m 間隔)という超高解像度の全球大気シミュレーションを行うことが可能になりました。 さらに、地球シミュレータの全てのプロセッサ(640ノード、5120プロセッサ)を用いて、26.58テラフロップスという実効性能を達成しました(図1)。 これは理論上のピーク性能40.96テラフロップスの 64.9% に相当します。この数値は実用的なプログラムの性能として記録的なものであり、スーパーコンピューティングの国際会議である SC2002 のピークパフォーマンス部門において、ゴードンベル賞を受賞しました。

図1. AFESの並列化効率。 図2. AFESの実行時間比率。

AFESのベクトル並列最適化

地球シミュレータのハードウェア資源を効率的に利用するために、そのハードウェア構成に合わせた3階層の並列プログラミングを採用しています。ノード間の分散メモリシステムに対してはMPIライブラリ、ノード内の共有メモリシステムに対してはスレッドプログラミングの一種であるマイクロタスク、単体のプロセッサに対してはベクトル処理が適用されています。

ルジャンドル変換の計算量は、切断波数の3乗に比例して増加し、高解像度では支配的になるため、このルジャンドル変換に対する最適化を特にベクトル処理の効率を引出すことに重点をおいて行いました。その結果、ルジャンドル変換の計算部分は T1279L96 においてピークの 90% 以上という非常に高いベクトル効率を達成するとともに、非常に良いスケーラビリティーを達成しました。また、図2に示されているようにルジャンドル変換が全体に占める割合は 50〜60% に抑えられました。これは、3乗のオーダーで増加する計算量によって予想されたものよりかなり小さいものでした。

地球シミュレータが従来の並列計算機に比べて驚異的な効率を達成することができる大きな要因の一つとして、非常に高速なノード間転送能力を持っていることがあげられます。各ノード間は、単段のクロスバスイッチ(ピーク転送能力 12.3GB/s x 2)により結合されています。この高速な通信性能を引出すために、AFES で最も通信量の多いスペクトル変換のトランスポーズ通信に、MPI-2 の機能である単方向通信の MPI_PUT 及び MPI_WIN_FENCE を利用しました。さらにグローバルメモリ機能も併用されています。このグローバルメモリ機能は、通常のシステムバッファを用いた余分なメモリコピーを行わずに直接相手先のノードとデータを通信することが出来ます。

シミュレーション

図3は、T1279L96 の解像度で積分を7日半行った際の降水量を表したものです。図4は、図3の日本付近を拡大した図です。一般に知られている限り、これ以上高い解像度で全球大気を表すことができるシミュレーションはありません。現在のところ、我々が開発したモデル AFES を用いて地球シミュレータで実行した場合のみ、このようなシミュレーションが可能です。赤道上で水平 10 km という格子間隔は、一般に大気大循環モデルで採用されている静水圧近似が有効だとされる最も細かい間隔です。

図3は、はるかに低い解像度の再解析データから作成した初期状態では解像できずにいたメソスケール現象の特性が、T1279 という超高解像度シミュレーションにより解析可能となり、かなり現実に近いものを表すことができるようになったことを示しています。例えば、独特な『Tボーン』形の降水分布(図4)により、低気圧が中緯度地方の海上を東方へ発達しながら移動してゆく様子が明瞭に捉えられています。この構造は、東西にのびる温暖前線と南北にのびる寒冷前線から成り、発達する温帯低気圧に特徴的なメソスケール構造としてしばしば観測されるものです。さらに、冬季の日本域の衛星写真でよく見られるすじ状の雲のような特徴が、図4の降水分布に鮮明に表されています。このモデルはまた、台風のような熱帯地方での擾乱もシミュレートできます。動画1では、台風が日本付近でらせん状の激しい降雨分布を伴いながら進む様子を見ることができます。我々の知る限りでは、他の全球モデルでこのように現実に見られるようならせん状の雲バンドをもつ熱帯の低気圧性擾乱を再現できるものはありません。

図3. 全球降水量分布の瞬間値。 図4. 中緯度低気圧の拡大図。
Quick Time (2.5MB)
MPEG (2.7MB)
動画1. フィリピン海上の双子台風。

結論

まだ検証段階ではありますが、AFES は、地球シミュレータ上で驚異的な性能での実行が可能で、衛星画像と見紛うばかりの現実的な大気のメソスケール現象を再現できることが示されました。このような超高解像度でより現実的なシミュレーションを可能にするには、もちろん越えなければならない障害がいくつもあります。例えば、対流雲のアンサンブルや重力波の影響を含む物理過程のパラメタリゼーションスキームは適宜調整が必要です。また、莫大な出力データを処理することが実務上の大きな問題となっています。しかしながら私たちの研究は、温暖化した気候のもとでの地球上の各地域の気候や天候の特徴を研究するための、現実的なメソスケール過程と地形効果を盛り込んだ近未来の大気現象モデリングへの確かな第一歩であると考えられます。