m/2018/yohei/experiments/fashion550k/実験
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
単語検索
|
最終更新
|
ヘルプ
|
ログイン
]
開始行:
CENTER:&size(30){''実験''};
#br
----
#contents
----
#br
* 実験の目的 [#ve728b9d]
[[予備実験14>https://www-tlab.math.ryukoku.ac.jp/tlab/?m/...
* 実験条件 [#s849209e]
これまで実験時間を考慮して学習データ数を49,825枚とし，ハ...
これまで学習データを49,825枚としました．
本実験ではそれらに15,1255枚を追加します．
- 学習データ：201,080枚
- 検証データ：10,000 枚
予備実験14においてデータを増やした実験を実験14と呼ぶこと...
同様に，予備実験28においてデータを増やした実験を実験28，...
* 実験結果 [#rf1d31b1]
** 実験14 [#kacf1ad9]
- loss の推移．GeneratorのFeature Matching Loss とPercept...
-- seed 1
#ref(https://imgur.com/Srergsj.png)
-- seed 2
#ref(https://imgur.com/2jrNJgk.png)
- 主観的評価で最もうまく再構成できた画像
|seed 1|seed 2|
|#ref(https://imgur.com/SOwMIeG.png,500x550)|#ref(https:/...
** 実験28 [#d4d1ed32]
- ロスの推移：
-- Perceptual Loss (relu1_1)：以下の図は &mathjax{\lambda...
#ref(https://imgur.com/NW5SMPU.png)
-- DSSIM：検証データの最小のロスはそれぞれ，seed 1: 0.2...
#ref(https://imgur.com/7IJHG10.png)
- 検証データの合計ロス（DSSIM + λ x Perceptual Loss (relu...
|seed 1 (min loss : 0.75892)| seed 2 (min loss : 0.7589...
|#ref(https://imgur.com/k3ZUA9n.png,500x550)|#ref(https:/...
- 考察：
-- 予備実験28と比較して，ロスは0.0238こちらの方が良く，再...
** 実験43 [#f7ded43d]
- loss の推移．GeneratorのFeature Matching Loss とPercept...
-- seed 1
#ref(https://imgur.com/GiB0JGD.png)
-- seed 2
#ref(https://imgur.com/hbmvtDp.png)
- 主観的評価で最もうまく再構成できた画像
|seed 1|seed 2|
|#ref(https://imgur.com/lYCKSzV.png,500x550)|#ref(https:/...
* 定量的評価 [#ed3dc5b9]
** 実験14 [#r6cd49ac]
- ロス・スコアの推移
-- 再構成
#ref(https://imgur.com/ETVzccg.png)
-- 姿勢変換
#ref(https://imgur.com/JB6UCGA.png)
- ロス・スコアの最小最大
-- 再構成
|| L1 ↓ | Perceptual Loss (relu1_1) ↓ | MSSIM ↑|
|seed 1|0.1363 (epoch=43) | 0.1207 (epoch=47) | 0.7531 (e...
|seed 2| 0.1462 (epoch=48) |0.1268 (epoch=48) | 0.7454 (e...
|平均| 0.1432 | 0.1249 | 0.7468 |
-- 姿勢変換
|| L1 ↓ | Perceptual Loss (relu1_1) ↓ | MSSIM ↑|
|seed 1| 0.1649 (epoch=43) |0.1371 (epoch=47) | 0.7065 (...
|seed 2| 0.1802 (epoch=7) | 0.1422 (epoch=48) | 0.7009 (...
|平均| 0.1746 | 0.1403 | 0.7024 |
- 考察
-- 予備実験14と比較して：こちらの方がMSSIMが0.0084良くな...
** 実験28 [#qc0e3b58]
- ロス・スコアの推移
-- 再構成
#ref(https://imgur.com/kVfNYDl.png)
-- 姿勢変換
#ref(https://imgur.com/CSXxVUJ.png)
- ロス・スコアの最小最大
-- 再構成
|| L1 ↓ | Perceptual Loss (relu1_1) ↓ | MSSIM ↑|
|seed 1| 0.1037 (epoch=19) | 0.09813 (epoch=18) | 0.802...
|seed 2| 0.1028 (epoch=30) | 0.09759 (epoch=23) | 0.8024 ...
|平均| 0.1049 | 0.09828 | 0.8022 |
-- 姿勢変換
|| L1 ↓ | Perceptual Loss (relu1_1) ↓ | MSSIM ↑|
|seed 1| 0.142 (epoch=12) | 0.1163 (epoch=8) | 0.7395 (e...
|seed 2|0.141 (epoch=30) | 0.1142 (epoch=12) | 0.7445 (e...
|平均| 0.1433 | 0.1166 | 0.7416 |
- 考察
-- 予備実験28と比較して：こちらの方がMSSIMが0.0133良くな...
** 実験43 [#m03fb716]
- ロス・スコアの推移
-- 再構成
#ref(https://imgur.com/kclvL3n.png)
-- 姿勢変換
#ref(https://imgur.com/N43fN56.png)
- ロス・スコアの最小最大
-- 再構成
|| L1 ↓ | Perceptual Loss (relu1_1) ↓ | MSSIM ↑|
|seed 1| 0.1083 (epoch=46) | 0.1324 (epoch=7) | 0.7348 (...
|seed 2| 0.1111 (epoch=37) | 0.1241 (epoch=24) | 0.7291 ...
|平均| 0.112 | 0.133 | 0.7074 |
-- 姿勢変換
|| L1 ↓ | Perceptual Loss (relu1_1) ↓ | MSSIM ↑|
|seed 1| 0.1468 (epoch=46) | 0.1535 (epoch=44) | 0.6759 ...
|seed 2| 0.1513 (epoch=24) | 0.1454 (epoch=24) |0.669 (ep...
|平均| 0.1512 | 0.1544 | 0.6495 |
- 考察
-- データを増やす前の予備実験43と比較して：MSSIMが0.0216 ...
-- 実験14と比較して：実験14のほうがMSSIMが0.0569良い．ま...
* 定性的評価 [#x7d281ee]
- 目標姿勢
#ref(https://imgur.com/gf4umWg.png)
- 検証データ
-- type 1
#ref(https://imgur.com/XlyhtLL.png)
-- type 2
#ref(https://imgur.com/w68ZVYx.png)
** 実験14 [#t535b69e]
-- type 1
||変換画像|
|seed 1|#ref(https://imgur.com/hlN7NJ3.png) |
|seed 2|#ref(https://imgur.com/PUcxuCp.png) |
-- type 2
||変換画像|
|seed 1|#ref(https://imgur.com/kMduNW8.png) |
|seed 2|#ref(https://imgur.com/UHhnJUY.png) |
- 考察：
-- 予備実験14と比較して：データを増やすことで，全体的に人...
** 実験28 [#sa7ccb83]
-- type 1
||変換画像|
|seed 1|#ref(https://imgur.com/k3ithYq.png) |
|seed 2|#ref(https://imgur.com/QnLRMYr.png) |
-- type 2
||変換画像|
|seed 1|#ref(https://imgur.com/vuv5F1t.png) |
|seed 2|#ref(https://imgur.com/u9jjySA.png) |
- 考察：
-- 予備実験28と比較して：こちらの方がより体の輪郭がくっき...
-- 実験14と比較して：実験28ではGANを用いないため生成画像...
しかし，type1の腰に手を当てている場合において，実験14では...
** 実験43 [#n42b0f9a]
-- type 1
||変換画像|
|seed 1|#ref(https://imgur.com/yT6v9Gl.png) |
|seed 2|#ref(https://imgur.com/DjZd04K.png) |
-- type 2
||変換画像|
|seed 1|#ref(https://imgur.com/6ckw03P.png) |
|seed 2|#ref(https://imgur.com/ffsjvgV.png) |
- 考察：
-- 予備実験43と比較して：
-- 実験28と比較して：実験28で生成できなかった低周波成分を...
-- 実験14と比較して：実験28の段階で間違っている部分を修正...
また，type2では背景にアーティファクトが出現している．
* 符号について [#fa5b806a]
実験14のモデルについて，符号の入れ替えで外観操作ができる...
使用するデータ
|ここでの名称 |A | B| C|
|元画像|#ref(https://imgur.com/24YGuV6.png) |#ref(https:/...
|姿勢マップ|#ref(https://imgur.com/c2oTm6f.png)|#ref(http...
|再構成|#ref(https://imgur.com/Q6vKAKk.png)|#ref(https://...
** 符号の入れ替え（足） [#s4bd5f09]
Aの左下腿と右下腿の符号をB, Cの左下腿と右下腿に代入し生成...
|Aの符号をBへ |Aの符号を Cへ|
|#ref(https://imgur.com/y9kdpn3.png)|#ref(https://imgur.c...
Bに関しては，ちゃんとAの赤タイツに変化させることができて...
しかし，Cはできていない．
逆に，B, Cの左下腿と右下腿の符号をそれぞれ，Aの左下腿と右...
|Bの符号をAへ|Cの符号をAへ|
|#ref(https://imgur.com/l5ZXSui.png)|#ref(https://imgur.c...
Bの符号をAへ代入した場合は，素足へ変換することができてい...
しかし，Cの符号をAへ代入した場合はできていない．
この原因はEncoderに画像全体を入力しているからだと考えられ...
足に関してのみですが，他のデータについてもやりました．
この結果を修論に載せるつもりです．
|↓は変化させる画像 目標とするスタイルの画像→ |#ref(https...
|#ref(https://imgur.com/hn5u4YP.png)|#ref(https://imgur.c...
|#ref(https://imgur.com/6bHZZ9X.png)|#ref(https://imgur.c...
** 符号の入れ替え(背景) [#nfbdc23a]
|↓は変化させる画像 目標とするスタイルの画像→ |#ref(https...
|#ref(https://imgur.com/hn5u4YP.png)|#ref(https://imgur.c...
|#ref(https://imgur.com/6bHZZ9X.png)|#ref(https://imgur.c...
** IWAPに参加する特徴マップの要素数 [#n731a2a4]
|画像|姿勢のセグメンテーションマップ（図中の番号はカテゴ...
|#ref(https://imgur.com/hn5u4YP.png,192x288)|#ref(https:/...
上の画像に対するセグメンテーションマップの各カテゴリごと...
IWAPに参加する各インスタンスの特徴点数は，各カテゴリの要...
|カテゴリ名|上の図のカテゴリ番号|要素数|
|背景|0|20983|
|顔|1|655|
|胴体|2|850|
|右上腕|3|174|
|右前腕|4|143|
|左上腕|5|207|
|左前腕|6|118|
|右大腿|7|411|
|右下腿|8|254|
|左大腿|9|425|
|左下腿|10|356|
** 各パーツの中央の特徴点を符号として再構成 [#x9ae673d]
Instance-Wise Average Pooling のかわりに，各パーツの中央...
中央の特徴点の選択は，次のようにしました．
- パーツ内の特徴点がN個あるとして，その画像座標を (x_n, y...
- x_n (n = 1, 2, …N) および y_n それぞれの中央値を求め，...
- (x, y) の特徴点を使う
|元画像|IWAPでの再構成画像|中央の特徴点を用いた再構成画像|
|#ref(https://i.imgur.com/hn5u4YP.png)|#ref(https://i.img...
|#ref(https://i.imgur.com/6bHZZ9X.png.png)|#ref(https://i...
** 背景パーツの符号に乱数を入れ挙動を確認 [#xd0306e6]
背景パーツの符号にのみ，以下の式に従う乱数を足します．こ...
&mathjax{ \mathrm{[-1, 1)} \times \delta};
|元画像|乱数なし|背景パーツの符号に乱数を混入させた結果．|
|#ref(https://i.imgur.com/hn5u4YP.png)|#ref(https://i.img...
|#ref(https://i.imgur.com/6bHZZ9X.png.png)|#ref(https://i...
以上のとおり，符号を少し変化させると背景だけでなく，画像...
終了行:
CENTER:&size(30){''実験''};
#br
----
#contents
----
#br
* 実験の目的 [#ve728b9d]
[[予備実験14>https://www-tlab.math.ryukoku.ac.jp/tlab/?m/...
* 実験条件 [#s849209e]
これまで実験時間を考慮して学習データ数を49,825枚とし，ハ...
これまで学習データを49,825枚としました．
本実験ではそれらに15,1255枚を追加します．
- 学習データ：201,080枚
- 検証データ：10,000 枚
予備実験14においてデータを増やした実験を実験14と呼ぶこと...
同様に，予備実験28においてデータを増やした実験を実験28，...
* 実験結果 [#rf1d31b1]
** 実験14 [#kacf1ad9]
- loss の推移．GeneratorのFeature Matching Loss とPercept...
-- seed 1
#ref(https://imgur.com/Srergsj.png)
-- seed 2
#ref(https://imgur.com/2jrNJgk.png)
- 主観的評価で最もうまく再構成できた画像
|seed 1|seed 2|
|#ref(https://imgur.com/SOwMIeG.png,500x550)|#ref(https:/...
** 実験28 [#d4d1ed32]
- ロスの推移：
-- Perceptual Loss (relu1_1)：以下の図は &mathjax{\lambda...
#ref(https://imgur.com/NW5SMPU.png)
-- DSSIM：検証データの最小のロスはそれぞれ，seed 1: 0.2...
#ref(https://imgur.com/7IJHG10.png)
- 検証データの合計ロス（DSSIM + λ x Perceptual Loss (relu...
|seed 1 (min loss : 0.75892)| seed 2 (min loss : 0.7589...
|#ref(https://imgur.com/k3ZUA9n.png,500x550)|#ref(https:/...
- 考察：
-- 予備実験28と比較して，ロスは0.0238こちらの方が良く，再...
** 実験43 [#f7ded43d]
- loss の推移．GeneratorのFeature Matching Loss とPercept...
-- seed 1
#ref(https://imgur.com/GiB0JGD.png)
-- seed 2
#ref(https://imgur.com/hbmvtDp.png)
- 主観的評価で最もうまく再構成できた画像
|seed 1|seed 2|
|#ref(https://imgur.com/lYCKSzV.png,500x550)|#ref(https:/...
* 定量的評価 [#ed3dc5b9]
** 実験14 [#r6cd49ac]
- ロス・スコアの推移
-- 再構成
#ref(https://imgur.com/ETVzccg.png)
-- 姿勢変換
#ref(https://imgur.com/JB6UCGA.png)
- ロス・スコアの最小最大
-- 再構成
|| L1 ↓ | Perceptual Loss (relu1_1) ↓ | MSSIM ↑|
|seed 1|0.1363 (epoch=43) | 0.1207 (epoch=47) | 0.7531 (e...
|seed 2| 0.1462 (epoch=48) |0.1268 (epoch=48) | 0.7454 (e...
|平均| 0.1432 | 0.1249 | 0.7468 |
-- 姿勢変換
|| L1 ↓ | Perceptual Loss (relu1_1) ↓ | MSSIM ↑|
|seed 1| 0.1649 (epoch=43) |0.1371 (epoch=47) | 0.7065 (...
|seed 2| 0.1802 (epoch=7) | 0.1422 (epoch=48) | 0.7009 (...
|平均| 0.1746 | 0.1403 | 0.7024 |
- 考察
-- 予備実験14と比較して：こちらの方がMSSIMが0.0084良くな...
** 実験28 [#qc0e3b58]
- ロス・スコアの推移
-- 再構成
#ref(https://imgur.com/kVfNYDl.png)
-- 姿勢変換
#ref(https://imgur.com/CSXxVUJ.png)
- ロス・スコアの最小最大
-- 再構成
|| L1 ↓ | Perceptual Loss (relu1_1) ↓ | MSSIM ↑|
|seed 1| 0.1037 (epoch=19) | 0.09813 (epoch=18) | 0.802...
|seed 2| 0.1028 (epoch=30) | 0.09759 (epoch=23) | 0.8024 ...
|平均| 0.1049 | 0.09828 | 0.8022 |
-- 姿勢変換
|| L1 ↓ | Perceptual Loss (relu1_1) ↓ | MSSIM ↑|
|seed 1| 0.142 (epoch=12) | 0.1163 (epoch=8) | 0.7395 (e...
|seed 2|0.141 (epoch=30) | 0.1142 (epoch=12) | 0.7445 (e...
|平均| 0.1433 | 0.1166 | 0.7416 |
- 考察
-- 予備実験28と比較して：こちらの方がMSSIMが0.0133良くな...
** 実験43 [#m03fb716]
- ロス・スコアの推移
-- 再構成
#ref(https://imgur.com/kclvL3n.png)
-- 姿勢変換
#ref(https://imgur.com/N43fN56.png)
- ロス・スコアの最小最大
-- 再構成
|| L1 ↓ | Perceptual Loss (relu1_1) ↓ | MSSIM ↑|
|seed 1| 0.1083 (epoch=46) | 0.1324 (epoch=7) | 0.7348 (...
|seed 2| 0.1111 (epoch=37) | 0.1241 (epoch=24) | 0.7291 ...
|平均| 0.112 | 0.133 | 0.7074 |
-- 姿勢変換
|| L1 ↓ | Perceptual Loss (relu1_1) ↓ | MSSIM ↑|
|seed 1| 0.1468 (epoch=46) | 0.1535 (epoch=44) | 0.6759 ...
|seed 2| 0.1513 (epoch=24) | 0.1454 (epoch=24) |0.669 (ep...
|平均| 0.1512 | 0.1544 | 0.6495 |
- 考察
-- データを増やす前の予備実験43と比較して：MSSIMが0.0216 ...
-- 実験14と比較して：実験14のほうがMSSIMが0.0569良い．ま...
* 定性的評価 [#x7d281ee]
- 目標姿勢
#ref(https://imgur.com/gf4umWg.png)
- 検証データ
-- type 1
#ref(https://imgur.com/XlyhtLL.png)
-- type 2
#ref(https://imgur.com/w68ZVYx.png)
** 実験14 [#t535b69e]
-- type 1
||変換画像|
|seed 1|#ref(https://imgur.com/hlN7NJ3.png) |
|seed 2|#ref(https://imgur.com/PUcxuCp.png) |
-- type 2
||変換画像|
|seed 1|#ref(https://imgur.com/kMduNW8.png) |
|seed 2|#ref(https://imgur.com/UHhnJUY.png) |
- 考察：
-- 予備実験14と比較して：データを増やすことで，全体的に人...
** 実験28 [#sa7ccb83]
-- type 1
||変換画像|
|seed 1|#ref(https://imgur.com/k3ithYq.png) |
|seed 2|#ref(https://imgur.com/QnLRMYr.png) |
-- type 2
||変換画像|
|seed 1|#ref(https://imgur.com/vuv5F1t.png) |
|seed 2|#ref(https://imgur.com/u9jjySA.png) |
- 考察：
-- 予備実験28と比較して：こちらの方がより体の輪郭がくっき...
-- 実験14と比較して：実験28ではGANを用いないため生成画像...
しかし，type1の腰に手を当てている場合において，実験14では...
** 実験43 [#n42b0f9a]
-- type 1
||変換画像|
|seed 1|#ref(https://imgur.com/yT6v9Gl.png) |
|seed 2|#ref(https://imgur.com/DjZd04K.png) |
-- type 2
||変換画像|
|seed 1|#ref(https://imgur.com/6ckw03P.png) |
|seed 2|#ref(https://imgur.com/ffsjvgV.png) |
- 考察：
-- 予備実験43と比較して：
-- 実験28と比較して：実験28で生成できなかった低周波成分を...
-- 実験14と比較して：実験28の段階で間違っている部分を修正...
また，type2では背景にアーティファクトが出現している．
* 符号について [#fa5b806a]
実験14のモデルについて，符号の入れ替えで外観操作ができる...
使用するデータ
|ここでの名称 |A | B| C|
|元画像|#ref(https://imgur.com/24YGuV6.png) |#ref(https:/...
|姿勢マップ|#ref(https://imgur.com/c2oTm6f.png)|#ref(http...
|再構成|#ref(https://imgur.com/Q6vKAKk.png)|#ref(https://...
** 符号の入れ替え（足） [#s4bd5f09]
Aの左下腿と右下腿の符号をB, Cの左下腿と右下腿に代入し生成...
|Aの符号をBへ |Aの符号を Cへ|
|#ref(https://imgur.com/y9kdpn3.png)|#ref(https://imgur.c...
Bに関しては，ちゃんとAの赤タイツに変化させることができて...
しかし，Cはできていない．
逆に，B, Cの左下腿と右下腿の符号をそれぞれ，Aの左下腿と右...
|Bの符号をAへ|Cの符号をAへ|
|#ref(https://imgur.com/l5ZXSui.png)|#ref(https://imgur.c...
Bの符号をAへ代入した場合は，素足へ変換することができてい...
しかし，Cの符号をAへ代入した場合はできていない．
この原因はEncoderに画像全体を入力しているからだと考えられ...
足に関してのみですが，他のデータについてもやりました．
この結果を修論に載せるつもりです．
|↓は変化させる画像 目標とするスタイルの画像→ |#ref(https...
|#ref(https://imgur.com/hn5u4YP.png)|#ref(https://imgur.c...
|#ref(https://imgur.com/6bHZZ9X.png)|#ref(https://imgur.c...
** 符号の入れ替え(背景) [#nfbdc23a]
|↓は変化させる画像 目標とするスタイルの画像→ |#ref(https...
|#ref(https://imgur.com/hn5u4YP.png)|#ref(https://imgur.c...
|#ref(https://imgur.com/6bHZZ9X.png)|#ref(https://imgur.c...
** IWAPに参加する特徴マップの要素数 [#n731a2a4]
|画像|姿勢のセグメンテーションマップ（図中の番号はカテゴ...
|#ref(https://imgur.com/hn5u4YP.png,192x288)|#ref(https:/...
上の画像に対するセグメンテーションマップの各カテゴリごと...
IWAPに参加する各インスタンスの特徴点数は，各カテゴリの要...
|カテゴリ名|上の図のカテゴリ番号|要素数|
|背景|0|20983|
|顔|1|655|
|胴体|2|850|
|右上腕|3|174|
|右前腕|4|143|
|左上腕|5|207|
|左前腕|6|118|
|右大腿|7|411|
|右下腿|8|254|
|左大腿|9|425|
|左下腿|10|356|
** 各パーツの中央の特徴点を符号として再構成 [#x9ae673d]
Instance-Wise Average Pooling のかわりに，各パーツの中央...
中央の特徴点の選択は，次のようにしました．
- パーツ内の特徴点がN個あるとして，その画像座標を (x_n, y...
- x_n (n = 1, 2, …N) および y_n それぞれの中央値を求め，...
- (x, y) の特徴点を使う
|元画像|IWAPでの再構成画像|中央の特徴点を用いた再構成画像|
|#ref(https://i.imgur.com/hn5u4YP.png)|#ref(https://i.img...
|#ref(https://i.imgur.com/6bHZZ9X.png.png)|#ref(https://i...
** 背景パーツの符号に乱数を入れ挙動を確認 [#xd0306e6]
背景パーツの符号にのみ，以下の式に従う乱数を足します．こ...
&mathjax{ \mathrm{[-1, 1)} \times \delta};
|元画像|乱数なし|背景パーツの符号に乱数を混入させた結果．|
|#ref(https://i.imgur.com/hn5u4YP.png)|#ref(https://i.img...
|#ref(https://i.imgur.com/6bHZZ9X.png.png)|#ref(https://i...
以上のとおり，符号を少し変化させると背景だけでなく，画像...
ページ名:
![[PukiWiki]](image/blackuni3-80x80.png "[PukiWiki]")
