気になった用語等をまとめる
第1章_機械学習入門
学んだこと
- 機械学習・ディープラーニングの根本原理は「損失関数」の値を最小化するパラメータを見つけること
- そのためには勾配降下法を利用し微分をする
- 数値を予測する「回帰」と離散値を予測する「分類」
- 1階層のモデルを「ロジスティック回帰」、2階層のモデルを「ニューラルネットワーク」、3階層のモデルを「ディープラーニング」(全て分類モデル)
第2章_微分・積分
学んだこと
- 微分とは「関数のグラフ上のある点を中心にグラフを無限に拡大していくとグラフは限りなく直線に近づく。この時の直線の傾き」(つまり接線の傾き)のこと
- 微分とは「xを少し増やした時のyの増える量を比で表したもの」(dy/dx)
- 勾配降下法の根本原理は微分f'(x)(傾き)が0になるxの時に関数は極大又は極小になる
- 連鎖律とは合成関数の微分のこと
- 導関数とは微分した結果のこと
- 積分とは「関数のグラフと直線y=0の間にできる図形の面積」(=積分すると面積が求まる)
- 面積を表すS(x)の微分が元の関数f(x)になっている
第3章_ベクトル・行列
学んだこと
| θ | ベクトルaとbの関係 | 内積の値 |
|---|---|---|
| 0 | 同方向 | 最大値 |
| 90 | 直交 | 0 |
| 180 | 逆向き | 最小値 |
- ベクトル・行列を線形代数という
- 行列とベクトルの積
# wの固まりが行列、xの固まりがベクトル # ポイントは横(行列)✖️縦(ベクトル)の内積の計算 (w11 w12) (x1) = (w11x1 + w12x2) (w21 w22) (x2) (w21x1 + w22x2) (w31 w32) (w31x1 + w32x2)
第4章_多変数関数の微分
学んだこと
第5章_指数関数・対数関数
学んだこと
第6章_確率・統計
学んだこと
第7章_線形回帰モデル
学んだこと
- 入力変数1つが単回帰、2つ以上が重回帰
- 勾配降下法の式の中で学習率αが非常に重要なパラメータとなる
- αが大きすぎると正しい方向(谷底)を目指してはいるが一歩が大きすぎて谷底を通り過ぎてしまい何度も行ったり来たりする
- αが小さすぎると谷底に着くのに何度も回数を繰り返す必要がある
- 実務では学習率の設定は1/10ずつ小さくしていって微調整していく (0.01-0.001くらいに設定し明確な決め方はない)
第8章_ロジスティック回帰モデル(2値分類)
学んだこと
- 回帰の直線は処理対象の点を全て直線に近づけるように使う
- 分類の直線はグループ分けのための境界線(決定境界)として使う
- 予測関数はシグモイド関数の利用
第9章_ロジスティック回帰モデル(多値分類)
学んだこと
- アルゴリズムの流れは変わらず、1. 予測関数の作成、2. 評価関数の作成、3. 勾配降下法による最適なパラメータ値探索
- 並列の分類器の中で確率値の最も高い分類器のクラスを予測値とする
- 予測関数はソフトマックス関数の利用
第10章_ディープラーニングモデル
学んだこと
- 予測フェーズは入力層から出力層に向けて順方向に計算処理が進む(順伝播)
- 学習フェーズは出力層から入力層に向けて逆方向に 誤差計算 が進む(誤差逆伝播)
- 件数が多い場合は学習データ全体からランダムに一部のデータを取りそのデータで学習する(ミニバッチ学習法)
第11章_実用的なディープラーニング
学んだこと
参考文献
最短コースでわかる ディープラーニングの数学
赤石 雅典 (著)/日経BP/2023
