SJS2017 ex11 †[edit]はじめに †[edit]これまでの分 †[edit]
今回と次回 †[edit]SJS/2017/ex10 のロジスティック回帰を,次の2段階で改良しよう
課題A †[edit]特徴次元数を一般化しよう 前回は特徴ベクトルの次元数 \( D \) が 2 の場合のみを考えた.今回は \( D \geq 1 \) の任意の次元数の特徴ベクトルを扱えるようにしよう. まず,特徴ベクトルを列ベクトル(\( D\times 1 \) 行列)として \[ \bm{x} = ( x_1, x_2, \dots , x_D )^{\top} \]
と表す.このとき,シグモイド関数を用いて,入力 \( \bm{x} \) に対する出力 \( z \) を \[ z = s( w_1x_1 + w_2x_2 + \dots + w_Dx_D + b) = s( \bm{w}^{\top} \bm{x} + b ) \]
とする.パラメータは,スカラ \( b \) と \( D \) 次元ベクトル \( \bm{w} \) なので計 \( (D+1) \)個ある. このとき,\( h \) を前回同様に定義すると,\( \frac{\partial h}{\partial w_d} \) ( \( d = 1, \dots , D \) ) は(\( \frac{\partial h}{\partial b} \)も)前回と全く同じように計算できる.式を簡潔に書くために \[ \frac{\partial h}{\partial \bm{w}} = \left( \frac{\partial h}{\partial w_1}, \frac{\partial h}{\partial w_2}, \dots , \frac{\partial h}{\partial w_D} \right)^{\top} \]
という \( D \) 次元ベクトルを定義すると, \[ \frac{\partial h}{\partial \bm{w}} = \mbox{hoge} \]
と書ける.hoge がどうなるか考えよう. 課題B †[edit]実験 上記の結果を活かして,SJS/2017/ex10の課題Bのプログラムの改良版を作ろう. |