更新日: 2003年11月21日
AFES による全球大気の超高解像度シミュレーション
本研究は、地球シミュレータセンターと地球フロンティア研究システムの共同で行われています。
はじめに

大気大循環モデル AFES (AGCM for Earth Simulator) は、地球シミュレータのハードウェア性能を最大限に引出すように開発されました。AFES は、CCSR/NIES AGCM を参考にして作られた、スペクトル法を用いた全球3次元の静力学モデルです。 この AFES と地球シミュレータの組み合わせにより、世界で初めて T1279L96（水平解像度が赤道上で 10 km、鉛直は96層で地表付近は約 20 m 間隔、対流圏中層から成層圏下層までは約 500 m 間隔）という超高解像度の全球大気シミュレーションを行うことが可能になりました。 さらに、地球シミュレータの全てのプロセッサ（640ノード、5120プロセッサ）を用いて、26.58テラフロップスという実効性能を達成しました（図1）。 これは理論上のピーク性能40.96テラフロップスの 64.9% に相当します。この数値は実用的なプログラムの性能として記録的なものであり、スーパーコンピューティングの国際会議である SC2002 のピークパフォーマンス部門において、ゴードンベル賞を受賞しました。
図1. AFESの並列化効率。 図2. AFESの実行時間比率。

AFESのベクトル並列最適化

地球シミュレータのハードウェア資源を効率的に利用するために、そのハードウェア構成に合わせた3階層の並列プログラミングを採用しています。ノード間の分散メモリシステムに対してはMPIライブラリ、ノード内の共有メモリシステムに対してはスレッドプログラミングの一種であるマイクロタスク、単体のプロセッサに対してはベクトル処理が適用されています。

ルジャンドル変換の計算量は、切断波数の3乗に比例して増加し、高解像度では支配的になるため、このルジャンドル変換に対する最適化を特にベクトル処理の効率を引出すことに重点をおいて行いました。その結果、ルジャンドル変換の計算部分は T1279L96 においてピークの 90% 以上という非常に高いベクトル効率を達成するとともに、非常に良いスケーラビリティーを達成しました。また、図2に示されているようにルジャンドル変換が全体に占める割合は 50?60% に抑えられました。これは、3乗のオーダーで増加する計算量によって予想されたものよりかなり小さいものでした。

地球シミュレータが従来の並列計算機に比べて驚異的な効率を達成することができる大きな要因の一つとして、非常に高速なノード間転送能力を持っていることがあげられます。各ノード間は、単段のクロスバスイッチ（ピーク転送能力 12.3GB/s x 2）により結合されています。この高速な通信性能を引出すために、AFES で最も通信量の多いスペクトル変換のトランスポーズ通信に、MPI-2 の機能である単方向通信の MPI_PUT 及び MPI_WIN_FENCE を利用しました。さらにグローバルメモリ機能も併用されています。このグローバルメモリ機能は、通常のシステムバッファを用いた余分なメモリコピーを行わずに直接相手先のノードとデータを通信することが出来ます。

シミュレーション

図3は、T1279L96 の解像度で積分を7日半行った際の降水量を表したものです。図4は、図3の日本付近を拡大した図です。一般に知られている限り、これ以上高い解像度で全球大気を表すことができるシミュレーションはありません。現在のところ、我々が開発したモデル AFES を用いて地球シミュレータで実行した場合のみ、このようなシミュレーションが可能です。赤道上で水平 10 km という格子間隔は、一般に大気大循環モデルで採用されている静水圧近似が有効だとされる最も細かい間隔です。

図3は、はるかに低い解像度の再解析データから作成した初期状態では解像できずにいたメソスケール現象の特性が、T1279 という超高解像度シミュレーションにより解析可能となり、かなり現実に近いものを表すことができるようになったことを示しています。例えば、独特な『Tボーン』形の降水分布（図4）により、低気圧が中緯度地方の海上を東方へ発達しながら移動してゆく様子が明瞭に捉えられています。この構造は、東西にのびる温暖前線と南北にのびる寒冷前線から成り、発達する温帯低気圧に特徴的なメソスケール構造としてしばしば観測されるものです。さらに、冬季の日本域の衛星写真でよく見られるすじ状の雲のような特徴が、図4の降水分布に鮮明に表されています。このモデルはまた、台風のような熱帯地方での擾乱もシミュレートできます。動画1では、台風が日本付近でらせん状の激しい降雨分布を伴いながら進む様子を見ることができます。我々の知る限りでは、他の全球モデルでこのように現実に見られるようならせん状の雲バンドをもつ熱帯の低気圧性擾乱を再現できるものはありません。
図3. 全球降水量分布の瞬間値。 図4. 中緯度低気圧の拡大図。
Quick Time (2.5MB)
MPEG (2.7MB)
動画1. フィリピン海上の双子台風。


結論

まだ検証段階ではありますが、AFES は、地球シミュレータ上で驚異的な性能での実行が可能で、衛星画像と見紛うばかりの現実的な大気のメソスケール現象を再現できることが示されました。このような超高解像度でより現実的なシミュレーションを可能にするには、もちろん越えなければならない障害がいくつもあります。例えば、対流雲のアンサンブルや重力波の影響を含む物理過程のパラメタリゼーションスキームは適宜調整が必要です。また、莫大な出力データを処理することが実務上の大きな問題となっています。しかしながら私たちの研究は、温暖化した気候のもとでの地球上の各地域の気候や天候の特徴を研究するための、現実的なメソスケール過程と地形効果を盛り込んだ近未来の大気現象モデリングへの確かな第一歩であると考えられます。

論文
  • Ohfuchi, W., T. Enomoto, K. Takaya, and M. K. Yoshioka, 2003: 10-km mesh global atmospheric simulations. Proceedings of the Tenth Workshop on High Performance Computing “Realizing Teracomputing”, European Centre for Medium-Range Weather Forecast, World Scientific, in press.
  • Ohfuchi, W., S. Shingu, H. Fuchigami, and M. Yamada, 2003: The dependence of parallel performance of the atmospheric general circulation model for the Earth Simulator on problem size. NEC Research & Development, 44 (1), 99–103.
  • Ohfuchi, W., S. Shingu, H. Nakamura, M. K. Yoshioka, T. Enomoto, K. Takaya, S. Yamane, T. Nishimura, X. Peng, H. Fuchigami, M. Yamada, Y. Kurihara, and K. Ninomiya, 2003: 10-km mesh meso-scale resolving global simulations of the atmosphere on the Earth Simulator: Preliminary outcomes of AFES (AGCM for the Earth Simulator). To be submitted.
  • Peng, X., F. Xiao, T. Yabe, and K. Tani, 2003: Implementation of the CIP as the advection solver in the MM5. Mon. Wea. Rev., 131 (7), 1256–1271.
  • Peng, X., F. Xiao, W. Ohfuchi, and H. Fuchigami: Conservative semi-Lagrangian transport in a sphere and the impact on vapor circulation in an AGCM, submitted to Mon. Wea. Rev. 2003
  • Shingu, S., H. Fuchigami, M. Yamada, 2003: Vector parallel programming and performance of a spectral atmospheric model on the Earth Simulator. Proceedings of Tenth ECMWF Workshop on High Performance Computing in Meteorology “Realizing TeraComputing”, World Scientific, in press.
  • Shingu, S., H. Fuchigami, M. Yamada, Y. Tsuda, M. Yoshioka, W. Ohfuchi, H. Nakamura, and M. Yokokawa, 2003: Performance of atmospheric general circulation model using the spectral transform method on the Earth Simulator. in Parallel Computational Fluid Dynamics — New Frontiers and Multi-Disciplinary Applications, K. Matsuno et al. (Editors), pp. 79–86, Elsevier.
  • Shingu, S., H. Takahara, H. Fuchigami, M. Yamada, Y. Tsuda, W. Ohfuchi, Y. Sasaki, K. Kobayashi, T. Hagiwara, S. Habata, M. Yokokawa, H. Itoh, and K. Otsuka, 2002: A 26.58 Tflops global atmospheric simulation with the spectral transform method on the Earth Simulator. Proceedings of Supercomputing 2002, http://www.sc-2002.org/paperpdfs/pap.pap331.pdf.
  • Xiao, F., T. Yabe, X. Peng, and H. Kobayashi, 2002: Conservative and oscillation-less atmosphere transport schemes based on rational functions. J. Geophys. Res., 107 (D22), 4609, doi:10.1029/2001JD001532.
  • Yamane, S., M. Honda, H. Nakamura, and W. Ohfuchi, 2002: On interdecadal modulations of prominent variability of boreal winter general circulation field on the Northern Hemisphere appearing in both observational data and numerical simulations —With special attention to the seesaws between the Aleutian and Icelandic lows. Gross Wetter, 40, 88–97 (in Japanese).
  • 山根 省三, 本田 明治, 中村 尚, 大淵 済, 2003: 外部強制に伴う季節予測可能性について. グロースベッター, 41, 39-50.
  • Yoshioka, M. K., F. Araki, H. Uehara, T. Enomoto, and A. Igarashi: “3-D Structure of Baiu Front around Japan Simulated by Ultra High Resolution Atmospheric General Circulation Model on the Earth Simulator”. Journal of Visualization, Vol.6, No.4., 2003, p.327 (Frontispiecs).

発表
  • Enomoto, T.: Representation of the Baiu (Meiyu) frontal zone in a T1279L96 model on the Earth Simulator. International Conference on Mesoscale Convective Systems and Heavy Rainfall/Snowfall in East Asia, Tokyo, Japan, October 2002.
  • Enomoto, T.: A Baiu (Meiyu) frontal zone simulation by a super-high resolution global general circulation model. Society of Marine Research Technology, the Fourteenth Research Conference, Tokyo, Japan, November, 2002 (in Japanese).
  • Enomoto, T.: Simulations of global to regional phenomena using a 10-km mesh AGCM on the Earth Simulator. International Workshop on NWP models for heavy precipitation in Asia and Pacific Areas, Tokyo, Japan, February 2003.
  • Enomoto, T., H. Fuchigami, S. Shingu, and W. Ohfuchi: Representation of the boreal summer general circulation of the atmosphere by AFES with the Emanuel cumulus convection scheme. Meteorological Society of Japan 2002 Fall Meeting, Sapporo, Japan, October 2002 (in Japanese).
  • Enomoto, T., W. Ohfuchi, and K. Ninonimya: Simulation of the Baiu/Meiyu frontal zone using a global 10-km mesh atmospheric model. The 2nd Workshop on Regional Climate Modeling for Monsoon System, Yokohama, Japan, March 2003.
  • Enomoto, T., and W. Ohfuchi: Hindcast simulations of global high-impact weather on the Earth Simulator. Case 1: The August 2002 storms. EGS-AGU-EUG joint assembly, Nice (France), April 2003.
  • Enomoto, T., and W. Ohfuchi: Hindcast simulations of global high-impact weather on the Earth Simulator. Case 2: The November 2002 storms. EGS-AGU-EUG joint assembly, Nice (France), April 2003.
  • Enomoto, T., and W. Ohfuchi: Hindcast simulations of severe weather events by a high-resolution atmospheric general circulation model on the Earth Simulator. Case 2: The November 2002 storms. IUGG, Sapporo (Japan), July 2003., [Poster]
  • Nakamura, H., S. Yamane, M. Honda, and W. Ohfuchi: Interdecadal modulations in the observed and simulated seesaws between the Aleutian and Icelandic lows. American Geophysical Union 2002 Spring Meeting, Washington, DC, U.S.A., May 2002.
  • 大淵 済 2003: ES（地球シミュレータ）とAFES（Agcm For the ES）の概要説明, メソ気象研究会，つくば，2003年5月
  • Ohfuchi, W., T. Nishimura, S. Yamane, and T. Enomoto: The sensitivity of AFES (AGCM for Earth Simulator) to cumulus convective parameterization and resolution. Meteorological Society of Japan 2002 Spring Meeting, Ohmiya, Japan, May 2002 (in Japanese).
  • Ohfuchi, W., T. Nishimura, and S. Yamane: The sensitivity of AFES (AGCM for Earth Simulator) to cumulus convective parameterization and resolution II. Meteorological Society of Japan 2002 Fall Meeting, Sapporo, Japan, October 2002 (in Japanese).
  • Ohfuchi, W., T. Enomoto, K. Takaya, and M. K. Yoshioka: Toward 10-km mesh global climate simulations. American Geophysical Union 2002 Fall Meeting, San Francisco, U.S.A., December 2002.
  • Ohfuchi, W., and T. Enomoto, 2003: Hindcast simulations of global high-impact weaather on the Earth Simulator. Case 1: The August 2002 Storms, EGS-AGU-EUG Joint Meeting, Nice, France, April 2003
  • 大淵 済，新宮 哲，中村 尚，吉岡 真由美，榎本 剛，高谷 康太郎，山根 省三，西村 照幸, 彭 新東，渕上 弘光，山田 将志，栗原 宜夫，二宮 洸三, 2003: 超高解像度全球大気モデルによるシミュレーション, その１：概要, 日本気象学会2003年度春季大会，つくば，2003年5月
  • Ohfuchi, W., and T. Enomoto, 2003: Hindcast simulations of severe weather events by a high-resolution atmospheric general circulation model on the Earth Simulator. Case 1: The August 2002 Storms. IUGG Joint Assembly, Sapporo, June-July, 2003.
  • Ohfuchi, W., S. Shingu, H. Nakamura, M. K. Yoshioka, T. Enomoto, K. Takaya, S. Yamane, T. Nishimura, X. Peng, H. Fuchigami, M. Yamada, Y. Kurihara, and K. Ninomiya 2003: Ultra-high resolution glabal atmospheric simlations. International Conference on Earth System Modelling, Hamburg, Germany, September 2003.
  • 大淵 済，高橋 芳幸，榎本 剛, 2003: 大気大循環モデル中での対流性降雨とグリッド凝結降雨の比の積雲対流パラメタリゼーションと解像度に対する感度, 日本気象学会2003年度秋季大会，仙台，2003年10月．
  • Peng, X.: Accurate computation of advection in meteorological model. CAS-Third World Academy-WMO Forum, Shanghai, Peoples' Republic of China, September 2002.
  • Peng, X., F. Xiao, and W. Ohfuchi: Conservative semi-Lagrangian transport of tracers in AFES. Meteorological Society of Japan 2002 Fall Meeting, Sapporo, Japan, October 2002.
  • Peng, X., F. Xiao, W. Ohfuchi, and H. Fuchigami, 2003: Conservative semi-Lagrangian transport in spherical coordinate and the application in AFES, 日本気象学会2003春季大会, B407, つくば
  • Peng, X. and F. Xiao, 2003: How much the advection scheme affects climate simulation with AGCM, IUGG2003 (MC11), Sapporo, Japan.
  • Shingu, S., M. K. Yoshioka, H. Fuchigami, and M. Yamada: Numerical experiments on the Earth Simulator with a super-high resolution atmospheric general circulation model (AFES). Meteorological Society of Japan 2002 Spring Meeting, Ohmiya, Japan, May 2002 (in Japanese).
  • Shingu, S., H. Takahara, H. Fuchigami, M. Yamada, Y. Tsuda, W. Ohfuchi, Y. Sasaki, K. Kobayashi, T. Hagiwara, S. Habata, M. Yokokawa, H. Itoh, and K. Otsuka: A 26.58 Tflops global atmospheric simulation with the spectral transform method on the Earth Simulator. SC2002, Baltimore, November 2002.
  • Yamane, S., M. Honda, H. Nakamura, and W. Ohfuchi: On internal and external variances of interannual variability of Aleutian and Icelandic lows. Meteorological Society of Japan 2002 Fall Meeting, Sapporo, Japan, October 2002 (in Japanese).
  • Yamane, S., M. Honda, H. Nakamura, and W. Ohfuchi: On the seasonal predictability under external forcing. Workshop on General Circulation and Medium-Range Weather Forecast, Tokyo, Japan, October 2002 (in Japanese).
  • 山根 省三, 中村 尚, 本田 明治, 大淵 済, 2003: 冬季北半球循環場の長周期変動の変調と基本場のモード解析 --アリューシャン・アイスランド低気圧シーソーに着目して--. 日本気象学会2003年春季大会, つくば.
  • Yamane, S., H. Nakamura, M. Honda, and W. Ohfuchi, 2003: A simulated seesaw between the Aleutian and Icelandic lows and multi-dacadal modulations. IUGG, Sapporo.
  • Yamane, S., H. Nakamura, M. Honda, and W. Ohfuchi, 2003: Simulated extratropical circulation in northern hemisphere wintertime and its decadal modulation. International conference on earth system modeling, Hamburg.
  • Yoshioka, M. K., S. Shingu, H. Fuchigami, M. Yamada, W. Ohfuchi, and S. Yamane: A management for enormous data output by AGCM (AFES) on the Earth Simulator. Earth and Planetary Science Union 2002 Joint Meeting, Tokyo, Japan, May 2002 (in Japanese).
  • Yoshioka, M. K., Y. Kurihara, W. Ohfuchi, T. Nishimura, and S. Yamane: Climate features during typhoon season in high-resolution AGCM. Meteorological Society of Japan 2002 Fall Meeting, Sapporo, Japan, October 2002 (in Japanese).
  • Yoshioka, M. K., Y. Kurihara, and W. Ohfuchi: Climate simulation for typhoongenesis by high resolution AGCM. American Geophysical Union 2002 Fall Meeting, San Francisco, U.S.A., December 2002.
  • Yoshioka, M. K., Y. Kurihara, and W. Ohfuchi: “A study on mesoscale structure of a tropical cyclone simulated with 10km high resolution AGCM”. EGS-AGU-EUG Joint Assembly 2003, Nice, France, April 2003
  • 吉岡 真由美: AFES超高解像度(T1279L96)でシミュレートされた台風. 2003年メソ気象研究会, つくば, 2003年5月
  • 吉岡 真由美: AFES 高解像度実験における積雲対流表現. 第一回積雲対流ワークショップ, 東京大学気候システム研究センター, 2003年7月
  • 吉岡 真由美, 栗原 宜夫: 超高解像度全球大気モデルによるシミュレーション その4: 台風. 2003年日本気象学会春季大会, つくば, 2003年5月
  • 吉岡 真由美, 新宮 哲, 渕上 弘光, 山田 将志, 山根 省三, 高谷 康太郎, 榎本 剛, 大淵 済: “A management of enormous data in highly resolved global atmospheric simulation output by AGCM (AFES) on the Earth Simulator”. 地球惑星科学関連学会 2003年合同学会春季大会, 千葉, 2003年5月
  • Yoshioka, M. K., T. Enomoto, and Y. Kurihara: “Typhoon genesis in global high-resolution simulations on the Earth Simulator”. IUGG, Sapporo, JAPAN, June 30 -- July 11, 2003
  • 吉岡 真由美, 栗原 宜夫: 高解像度全球大気モデルによるシミュレーション. 2003年日本気象学会秋季大会, 仙台, 2003年10月
  • 高谷 康太郎, 中村 尚, 二宮 洸三, 栗原 宜夫: 超高解像度全球モデルによるシミュレーション その2: 中緯度の冬の低気圧. 日本気象学会2003年春季大会, つくば

(C) JAMSTEC / Earth Simulator Center