takataka/note/2015-10-30
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
単語検索
|
最終更新
|
ヘルプ
|
ログイン
]
開始行:
#contents
**tortoise3 の CUDA を 7.5 にアップグレード & more [#l938...
//&color(red){工事中};
[[tortoise3]] を停電に備えてシャットダウンする前に，CUDA ...
***CUDA を 7.0 から 7.5 にアップグレード [#w038a00b]
アップグレード手順はこんだけ
$ sudo apt upgrade cuda
CUDA 7.0 のときの情報
-インストールメモ＆Theano使って行列の積: http://takatakam...
- TITAN X を含めたベンチマーク: http://takatakamanbou.hat...
***動作確認すると... [#q75ad336]
https://developer.nvidia.com/cuda-toolkit に書かれてるこ...
#pre{{
$ THEANO_FLAGS='floatX=float32,device=gpu0' python theano...
Using gpu device 0: GeForce GTX TITAN X
##### using Theano ( on gpu0 )
N = 10000 elapsed time [sec] = 1.14775013924
$ THEANO_FLAGS='floatX=float32,device=gpu0' python theano...
Using gpu device 0: GeForce GTX TITAN X
##### using Theano ( on gpu0 )
N = 20000 elapsed time [sec] = 5.3865339756
$ THEANO_FLAGS='floatX=float32,device=gpu2' python theano...
Using gpu device 2: Tesla K20c
##### using Theano ( on gpu2 )
N = 10000 elapsed time [sec] = 1.38241100311
$ THEANO_FLAGS='floatX=float32,device=gpu2' python theano...
Using gpu device 2: Tesla K20c
##### using Theano ( on gpu2 )
N = 20000 elapsed time [sec] = 8.94865107536
}}
岡田くんのやってくれたベンチマーク結果に比べてだいぶ遅い...
なんじゃこら，というわけで，7.0 に戻して再測定すると，や...
***抜き差し [#of517ff3]
岡田くんが測定した時と現在の違いは，カーネルをアップグレ...
#pre{{
$ THEANO_FLAGS='floatX=float32,device=gpu0' python theano...
Using gpu device 0: GeForce GTX TITAN X
##### using Theano ( on gpu0 )
N = 20000 elapsed time [sec] = 3.89882302284
$ THEANO_FLAGS='floatX=float32,device=gpu2' python theano...
Using gpu device 2: Tesla K20c
##### using Theano ( on gpu2 )
N = 20000 elapsed time [sec] = 7.40142893791
}}
岡田くんの測定結果と同レベルに戻りました．
で，ちょっと考えて，Quadro を抜いて空いたスロットに SSD ...
#pre{{
$ THEANO_FLAGS='floatX=float32,device=gpu0' python theano...
Using gpu device 0: GeForce GTX TITAN X
##### using Theano ( on gpu0 )
N = 20000 elapsed time [sec] = 3.90127396584
$ THEANO_FLAGS='floatX=float32,device=gpu1' python theano...
Using gpu device 1: Tesla K20c
##### using Theano ( on gpu1 )
N = 20000 elapsed time [sec] = 7.4054350853
}}
ということになりました．
***というわけで [#yfe6e1e0]
というわけで，現状ではこうなってます
- Quadro は抜いたまま（gpuのIDが付け変わってることに注意）
- /usr/local/cuda は cuda-7.5 へのシンポリックリンクにな...
#pre{{
$ ls -l /usr/local/
:
lrwxrwxrwx 1 root root 8 10月 30 19:07 cuda -> cuda-7.5
drwxr-xr-x 13 root root 4096 6月 10 16:26 cuda-7.0
drwxr-xr-x 13 root root 4096 10月 30 19:07 cuda-7.5
}}
[[takataka/note/2015-06-11]] に書いてるように環境設定して...
#pre{{
$ printenv CUDA_HOME
/usr/local/cuda
}}
何らかの理由で CUDA 7.0 を使いたい場合は，CUDA_HOME を /u...
で，問題がどこにあるのかはまだ解明できてません．
- ハードウェアに問題がある？ マザーボードは PCIe 3.0 16レ...
- ソフトウェアに問題がある？ Linux カーネル または NVMe ...
- バス帯域幅の問題？ 上記の行列の積のプログラムは，大きな...
ちょっと期待して [[takataka/note/2015-10-30]] のプログラ...
#pre{{
[ 383.51301326 440.87343885]
real 47m14.725s
user 43m6.924s
sys 1m4.884s
}}
SSDの読み込み時間はかわりませんでした．
**ILSVRC2010 のデータ中のエラーについて [#pf00e65e]
それから，[[takataka/note/2015-10-25]] のプログラムを動か...
[ERROR] 503722 /IntelSSD750/data/ILSVRC2010/train/n02487...
ということで，学習画像中に1枚エラーが出るものがあります．...
&ref(memo/2015-10-31/n02487347_1956.JPEG);
V および T にも同様の画像があるかもしれません．カテゴリ数...
$ file n02487347_1956.JPEG
n02487347_1956.JPEG: gzip compressed data, from Unix
と言われる．で，
$ convert n02487347_1956.JPEG hoge.jpeg
$ file hoge.jpeg
hoge.jpeg: JPEG image data, JFIF standard 1.01
としたらok.
&ref(memo/2015-10-31/hoge.jpeg);
対処が完了したらお知らせします．==> 完了しました
ちなみに，imread が警告を出す
Corrupt JPEG data: 1 extraneous bytes before marker 0xd9
画像も何枚かありますが，こちらはエラーにはならず，少なく...
追記:
- 上記学習画像1枚の他にはエラーになるものはありませんでし...
/IntelSSD750/data/ILSVRC2010/train/n02487347/n02487347_1...
/home/data/ILSVRC2010/train/n02487347/n02487347_1956.JPEG
は，手動で fix しておきました
- 警告の出てた画像の1枚について画素値を見たら，それっぽい...
終了行:
#contents
**tortoise3 の CUDA を 7.5 にアップグレード & more [#l938...
//&color(red){工事中};
[[tortoise3]] を停電に備えてシャットダウンする前に，CUDA ...
***CUDA を 7.0 から 7.5 にアップグレード [#w038a00b]
アップグレード手順はこんだけ
$ sudo apt upgrade cuda
CUDA 7.0 のときの情報
-インストールメモ＆Theano使って行列の積: http://takatakam...
- TITAN X を含めたベンチマーク: http://takatakamanbou.hat...
***動作確認すると... [#q75ad336]
https://developer.nvidia.com/cuda-toolkit に書かれてるこ...
#pre{{
$ THEANO_FLAGS='floatX=float32,device=gpu0' python theano...
Using gpu device 0: GeForce GTX TITAN X
##### using Theano ( on gpu0 )
N = 10000 elapsed time [sec] = 1.14775013924
$ THEANO_FLAGS='floatX=float32,device=gpu0' python theano...
Using gpu device 0: GeForce GTX TITAN X
##### using Theano ( on gpu0 )
N = 20000 elapsed time [sec] = 5.3865339756
$ THEANO_FLAGS='floatX=float32,device=gpu2' python theano...
Using gpu device 2: Tesla K20c
##### using Theano ( on gpu2 )
N = 10000 elapsed time [sec] = 1.38241100311
$ THEANO_FLAGS='floatX=float32,device=gpu2' python theano...
Using gpu device 2: Tesla K20c
##### using Theano ( on gpu2 )
N = 20000 elapsed time [sec] = 8.94865107536
}}
岡田くんのやってくれたベンチマーク結果に比べてだいぶ遅い...
なんじゃこら，というわけで，7.0 に戻して再測定すると，や...
***抜き差し [#of517ff3]
岡田くんが測定した時と現在の違いは，カーネルをアップグレ...
#pre{{
$ THEANO_FLAGS='floatX=float32,device=gpu0' python theano...
Using gpu device 0: GeForce GTX TITAN X
##### using Theano ( on gpu0 )
N = 20000 elapsed time [sec] = 3.89882302284
$ THEANO_FLAGS='floatX=float32,device=gpu2' python theano...
Using gpu device 2: Tesla K20c
##### using Theano ( on gpu2 )
N = 20000 elapsed time [sec] = 7.40142893791
}}
岡田くんの測定結果と同レベルに戻りました．
で，ちょっと考えて，Quadro を抜いて空いたスロットに SSD ...
#pre{{
$ THEANO_FLAGS='floatX=float32,device=gpu0' python theano...
Using gpu device 0: GeForce GTX TITAN X
##### using Theano ( on gpu0 )
N = 20000 elapsed time [sec] = 3.90127396584
$ THEANO_FLAGS='floatX=float32,device=gpu1' python theano...
Using gpu device 1: Tesla K20c
##### using Theano ( on gpu1 )
N = 20000 elapsed time [sec] = 7.4054350853
}}
ということになりました．
***というわけで [#yfe6e1e0]
というわけで，現状ではこうなってます
- Quadro は抜いたまま（gpuのIDが付け変わってることに注意）
- /usr/local/cuda は cuda-7.5 へのシンポリックリンクにな...
#pre{{
$ ls -l /usr/local/
:
lrwxrwxrwx 1 root root 8 10月 30 19:07 cuda -> cuda-7.5
drwxr-xr-x 13 root root 4096 6月 10 16:26 cuda-7.0
drwxr-xr-x 13 root root 4096 10月 30 19:07 cuda-7.5
}}
[[takataka/note/2015-06-11]] に書いてるように環境設定して...
#pre{{
$ printenv CUDA_HOME
/usr/local/cuda
}}
何らかの理由で CUDA 7.0 を使いたい場合は，CUDA_HOME を /u...
で，問題がどこにあるのかはまだ解明できてません．
- ハードウェアに問題がある？ マザーボードは PCIe 3.0 16レ...
- ソフトウェアに問題がある？ Linux カーネル または NVMe ...
- バス帯域幅の問題？ 上記の行列の積のプログラムは，大きな...
ちょっと期待して [[takataka/note/2015-10-30]] のプログラ...
#pre{{
[ 383.51301326 440.87343885]
real 47m14.725s
user 43m6.924s
sys 1m4.884s
}}
SSDの読み込み時間はかわりませんでした．
**ILSVRC2010 のデータ中のエラーについて [#pf00e65e]
それから，[[takataka/note/2015-10-25]] のプログラムを動か...
[ERROR] 503722 /IntelSSD750/data/ILSVRC2010/train/n02487...
ということで，学習画像中に1枚エラーが出るものがあります．...
&ref(memo/2015-10-31/n02487347_1956.JPEG);
V および T にも同様の画像があるかもしれません．カテゴリ数...
$ file n02487347_1956.JPEG
n02487347_1956.JPEG: gzip compressed data, from Unix
と言われる．で，
$ convert n02487347_1956.JPEG hoge.jpeg
$ file hoge.jpeg
hoge.jpeg: JPEG image data, JFIF standard 1.01
としたらok.
&ref(memo/2015-10-31/hoge.jpeg);
対処が完了したらお知らせします．==> 完了しました
ちなみに，imread が警告を出す
Corrupt JPEG data: 1 extraneous bytes before marker 0xd9
画像も何枚かありますが，こちらはエラーにはならず，少なく...
追記:
- 上記学習画像1枚の他にはエラーになるものはありませんでし...
/IntelSSD750/data/ILSVRC2010/train/n02487347/n02487347_1...
/home/data/ILSVRC2010/train/n02487347/n02487347_1956.JPEG
は，手動で fix しておきました
- 警告の出てた画像の1枚について画素値を見たら，それっぽい...
ページ名:
![[PukiWiki]](image/blackuni3-80x80.png "[PukiWiki]")
