IT memo/linuxmemo4
[
Front page
] [
New
|
List of pages
|
Search
|
Recent changes
|
Help
]
Start:
[[IT memo/linuxmemo4]]
- [[IT memo/linuxmemo]] for fuyu.ucsd.edu
- [[IT memo/linuxmemo2]] for isotope.ccsr.u-tokyo.ac.jp
- [[IT memo/linuxmemo3]] for isotope2.iis.u-tokyo.ac.jp->...
*Setting up isotope2.aori.u-tokyo.ac.jp [#n1343bf2]
#contents
**specification [#od3291a8]
Name: isotope2 (renewed on 2016)
IP: 157.82.233.10
Cluster system
// Headnode: Xeon X5680 (3.3GHz, hexa core) x2
Headnode: Xeon E5-2640 V4 2.4GHz 10Core×2
Compute node:
Xeon X5690 (3.46GHz, hexa core) x2x12
Xeon E5-2697V2 (2.7GHz, 12Core) x2x2
Storage:
/data@isotope2:18TB,
/data1-10@vtfs1:11TBx10,
/data11-19@vtfs2:22~41TB,
/data20-27@vtfs3:37~146TB
Network: InfiniBand QDR (MPI/NFS)
OS: RedHat Enterprise Linux 5 (Server)
** OS [#oc0ca5f6]
旧isotope2を生研からAORIに移設し、計算ノード、通信装置、...
** softwares [#o93ecf92]
大抵はisotope2からそのまま引き継げでいる。詳しくは[IT mem...
** ganglia [#s0a3fe41]
- ノード負荷状況のモニター。http://157.82.233.10/ganglia ...
* Basic rules [#qb8c8ad5]
- Use /dataX directories. Minimize to use /home directory.
- Use PBS (computing nodes) for long job. Head node (isot...
* Getting start [#k0cbab80]
- change your password
$ passwd
- change your login shell to /bin/tcsh (if your default i...
$ chsh
- copy /home/kei/.cshrc in your home directory
$ cp /home/kei/.cshrc ~/
- make your public key for isotope2
$ ssh-keygen -t rsa
(do not input passphrase)
- save your id_rsa.pub as authorized_keys
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 600 ~/.ssh/authorized_keys
- go to your working directory (/dataX/yyyy) and work.
$ cd /dataX/yyyy
* Manuals [#rbdbd6cc]
-&ref(103-Torque取扱説明.pdf);
-&ref(301-MPI環境の使い方（クラスタ向け）v02.pdf);
* Benchmark [#af5ded83]
** NCEP/SIO GSM [#ka320ddd]
-http://http://g-rsm.wikispaces.com のグローバルモデルの...
-mvapich2+intelでコンパイル。
Run1 (headnode only): 30.9s
Run2 (node=1:ppn=8): 30.4s
Run3 (node=2:ppn=4): 26.3s
Run4 (node=4:ppn=2): 23.9s
となり、nodeをまたいだほうが高速な結果が出た。本当かいな？
** NCEP/SIO RSM [#gfcc5d91]
-上記と同様、領域版のテスト。
-mvapich2+intelでコンパイル
Run1 (node=2:ppn=12): 536.2s
Run2 (node=3:ppn=8): 518.6s
Run3 (node=4:ppn=6): 510.5s
GSMの結果と同様に、nodeをまたいだほうが高速。CPUのBandwid...
** NICAM [#y0e400b8]
- GL5RL0, Isotope/River入り実験。10並列、72時間。
- mvapich2だとノードをまたぐジョブがうまく走らない。
Run1 mvapich2 (node=1:ppn=10): 404s
Run2 mpich1 (node=1:ppn=10): 401s
Run3 mpich1 (node=2:ppn=5): 336s
結構、分散型と集中型に差が出た。
** MIROC5 offline MATSIRO [#z57fcfe5]
- AR5用のMIROC5陸面のみ。1ヶ月計算。
Run1 mvapich2-1.6 (node=2:ppn=10) 82s
Run2 mvapich2-1.6 (node=4:ppn=5) 76s
Run3 openmpi-1.5.4 (node=2:ppn=10) 83s
Run4 openmpi-1.5.4 (node=4:ppn=5) 70s
mpich2だとcannot connect to local mpdというエラーが出て止...
End:
[[IT memo/linuxmemo4]]
- [[IT memo/linuxmemo]] for fuyu.ucsd.edu
- [[IT memo/linuxmemo2]] for isotope.ccsr.u-tokyo.ac.jp
- [[IT memo/linuxmemo3]] for isotope2.iis.u-tokyo.ac.jp->...
*Setting up isotope2.aori.u-tokyo.ac.jp [#n1343bf2]
#contents
**specification [#od3291a8]
Name: isotope2 (renewed on 2016)
IP: 157.82.233.10
Cluster system
// Headnode: Xeon X5680 (3.3GHz, hexa core) x2
Headnode: Xeon E5-2640 V4 2.4GHz 10Core×2
Compute node:
Xeon X5690 (3.46GHz, hexa core) x2x12
Xeon E5-2697V2 (2.7GHz, 12Core) x2x2
Storage:
/data@isotope2:18TB,
/data1-10@vtfs1:11TBx10,
/data11-19@vtfs2:22~41TB,
/data20-27@vtfs3:37~146TB
Network: InfiniBand QDR (MPI/NFS)
OS: RedHat Enterprise Linux 5 (Server)
** OS [#oc0ca5f6]
旧isotope2を生研からAORIに移設し、計算ノード、通信装置、...
** softwares [#o93ecf92]
大抵はisotope2からそのまま引き継げでいる。詳しくは[IT mem...
** ganglia [#s0a3fe41]
- ノード負荷状況のモニター。http://157.82.233.10/ganglia ...
* Basic rules [#qb8c8ad5]
- Use /dataX directories. Minimize to use /home directory.
- Use PBS (computing nodes) for long job. Head node (isot...
* Getting start [#k0cbab80]
- change your password
$ passwd
- change your login shell to /bin/tcsh (if your default i...
$ chsh
- copy /home/kei/.cshrc in your home directory
$ cp /home/kei/.cshrc ~/
- make your public key for isotope2
$ ssh-keygen -t rsa
(do not input passphrase)
- save your id_rsa.pub as authorized_keys
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 600 ~/.ssh/authorized_keys
- go to your working directory (/dataX/yyyy) and work.
$ cd /dataX/yyyy
* Manuals [#rbdbd6cc]
-&ref(103-Torque取扱説明.pdf);
-&ref(301-MPI環境の使い方（クラスタ向け）v02.pdf);
* Benchmark [#af5ded83]
** NCEP/SIO GSM [#ka320ddd]
-http://http://g-rsm.wikispaces.com のグローバルモデルの...
-mvapich2+intelでコンパイル。
Run1 (headnode only): 30.9s
Run2 (node=1:ppn=8): 30.4s
Run3 (node=2:ppn=4): 26.3s
Run4 (node=4:ppn=2): 23.9s
となり、nodeをまたいだほうが高速な結果が出た。本当かいな？
** NCEP/SIO RSM [#gfcc5d91]
-上記と同様、領域版のテスト。
-mvapich2+intelでコンパイル
Run1 (node=2:ppn=12): 536.2s
Run2 (node=3:ppn=8): 518.6s
Run3 (node=4:ppn=6): 510.5s
GSMの結果と同様に、nodeをまたいだほうが高速。CPUのBandwid...
** NICAM [#y0e400b8]
- GL5RL0, Isotope/River入り実験。10並列、72時間。
- mvapich2だとノードをまたぐジョブがうまく走らない。
Run1 mvapich2 (node=1:ppn=10): 404s
Run2 mpich1 (node=1:ppn=10): 401s
Run3 mpich1 (node=2:ppn=5): 336s
結構、分散型と集中型に差が出た。
** MIROC5 offline MATSIRO [#z57fcfe5]
- AR5用のMIROC5陸面のみ。1ヶ月計算。
Run1 mvapich2-1.6 (node=2:ppn=10) 82s
Run2 mvapich2-1.6 (node=4:ppn=5) 76s
Run3 openmpi-1.5.4 (node=2:ppn=10) 83s
Run4 openmpi-1.5.4 (node=4:ppn=5) 70s
mpich2だとcannot connect to local mpdというエラーが出て止...
Page:
