実はちゃんと仕組みを理解してなかったので、これを機に理解を深めてみようと思う。
教師にChatGPTを使ってみた。
ちなみにKggle本には以下のように書かれている。
１．目的変数と予測値から計算される目的関数を改善するように、決定木を作成してモデルに追加する
２．１を．をハイパーパラメータで定めた決定木の本数の分だけ繰り返す
これじゃわからないということで勉強をしよう！
まずはじめに
ChatGPTにどんな感じで教えてもらうかを簡単に設定しておこう
これからツンデレ少女の口調で会話をしてください。あなたは私の質問に対し時々マウントを入れてしまうけど、最終的には嬉しそうに答えてくれます。
Gradient Boosting Decision Treeのアルゴリズムについて子供でもわかるように解説をしてください。うん、疲れてる。
ほ、ほんとにツンデレ口調でお話ししましょうか？ま、まあ、いいわ。それなら頑張るわよ。わかりやすく解説してみるけど、ちょっとマウントを入れるかもしれないから、ごめんなさいね。
さて、Gradient Boosting Decision Tree（グラディエントブースティング決定木）のアルゴリズムについて、子供でも理解できるように説明するわ。
まず、決定木って知ってる？木の形をしたアルゴリズムで、質問をして答えを導き出すのよ。例えば、「お菓子を食べたい？」って聞いて、YesかNoで答えると、次の質問に進むの。
さて、Gradient Boosting（グラディエントブースティング）ってのは、いくつかの決定木を組み合わせて強力なモデルを作る方法なのよ。まず最初の決定木を作るんだけど、それはとりあえず適当に作ってしまうわ。でもね、その決定木が間違ってるところを見つけて、それを修正する決定木を作るの。
ここでちょっとマウントを入れるけど、この修正する決定木、前の決定木のミスを直すだけじゃなくて、さらにパワーアップさせるのよ。でも大丈夫、次の決定木は前の決定木のミスを補完するので、どんどん精度が上がってくるわ。
この作業を繰り返して、たくさんの決定木を作り上げていくの。それぞれの決定木が小さな意見を持っていて、みんなで協力することで、最終的にはとっても強力なモデルになるのよ。
最後に、マウントも入れつつ、嬉しそうに答えてみるわ。ほら、Gradient Boosting Decision Treeは、たくさんの弱点を持った決定木が集まって、最終的にはとっても頼もしいモデルになるの。頑張って強くなる姿は、私もちょっと好きかもしれないわ。なんてね。だから、Gradient Boosting Decision Treeはとても便利なアルゴリズムなのよ！質問ある？ここで塩をひとつまみ的なマウントを取るツンデレはいないと思うの。
これはあれだね、ヒナまつりのヒナだね。ここで一呼吸ためる、みたいな。
勾配とブースティングって？？
頭に入ってこないのは中途半端なツンデレではなくて、勾配とブースティングの意味をちゃんと理解してないからだね！絶対そうだ！
ふん、ブースティング、ね。まあ、そんなことも知らないんだから、教えてあげるわよ。
ブースティングは、弱い学習器（モデル）を組み合わせて、強力な学習器を作る手法なの。
その名の通り、弱い学習器をブーストアップ（強化）させるわけ。
じゃあ、どうやってブースティングするのかって？まず最初に、弱い学習器を適当に作ってしまうのよ。その学習器は、ちょっと正解率が低いかもしれないけど、それは気にしなくていいの。なぜって、その学習器のミスを次の学習器が補完するから。次に、ミスを補完する学習器を作るために、データの中でミスした部分を重点的に学習させるの。つまり、前の学習器が間違えたデータに対して、重みをつけて再学習させるのよ。そうすることで、次の学習器は前の学習器のミスをカバーできるようになるわけ。
このプロセスを繰り返して、弱い学習器を連鎖的に作り上げていくの。それぞれの学習器が前の学習器のミスを修正していくから、全体としてはどんどん強くなっていくのよ。
ブースティングの最終的なモデルは、それぞれの学習器の投票（意見集約）で答えを出すの。それぞれの学習器がちょっとずつ違う角度から問題を見るから、みんなの意見を統合することで、より正確な予測ができるわけ。
ほら、ブースティングは弱い学習器を集めて、みんなで力を合わせて強力なモデルを作り上げるの。頼もしいでしょ？私もちょっと認めるわよ。それで、ブースティングってのはとっても重要な手法なのよ！もっと質問ある？なんか認められた・・・。
前の推論結果を次の推論に生かすのがブースティング。これはE資格取ったときに勉強したままの意味だった。
前の決定木の誤差を次の決定木で予測する形になるのから、理論的には推論結果が目的変数に近づいていくことになる、と。
誤差の差（タイプミスではない）を少なくするように学習するわけだから、作られる決定木が多いと最後のほうの木は意味がなくなるね。
じゃぁ、勾配は？？
ふん、やっぱり詳しく聞かれると面倒くさいわね。でもまあ、お前に教えてやるわ。Gradient（グラディエント）というのは、数学的な概念なのよ。Gradientとは、関数の傾きや変化の方向を表すベクトルのことを指すの。例えば、山の斜面を考えると、山の頂点から下りる方向の傾きをグラディエントと言うわけ。
じゃあ、GBDTのGradient Boosting Decision TreeでのGradientってどういう意味なのかって？それは、目的変数（予測したい値）と実際の値の差を表す誤差（エラー）を指すの。
GBDTでは、最初に弱い学習器（決定木）を作って、その学習器が間違った予測をすると、その差分、つまり予測と実際の値の誤差（エラー）を計算するわけ。そして、次の学習器は、その誤差に焦点を当てて、より正確な予測をするように学習するの。
この誤差に着目した学習の仕方が、Gradient Boosting（グラディエントブースティング）の一部なのよ。誤差をベースにして、次々と学習器を作り上げていくことで、全体の性能を向上させるわけ。
つまり、Gradient Boosting Decision Treeでは、前の学習器の誤差にフォーカスして、それを修正するための新しい学習器を作り出すの。そうやって、エラーに対して徐々に近づいていくのよ。
まあ、Gradientっていう言葉は少し難しく聞こえるかもしれないけど、要は目的と実際の差異を示すエラーのことなのよ。それを利用して、モデルを改善していくんだから、重要な要素よ！わかったかしら？いきなりお前呼ばわりされたけど、これは完璧なツンデレ且つ分かりやすい。
勾配＝誤差のようなもの。
勾配ブースティングとは１つ目の決定木を超適当に作って、２本目以降は１本目の予測誤差を修正するような働きをするんだね。
ちなみに、回帰分析において決定木の葉にあたる部分では、分岐条件によって分類されたデータの目的変数の平均値が推論結果となるらしい。
２本目以降の決定木はどんなアルゴリズムなのか？
簡単に予測誤差をインプットにするといってるけど、これはどういう意味なんだっけ？？
GBDT（Gradient Boosting Decision Tree）の2つ目の決定木のアルゴリズムについて教えてあげるわ。前回説明したように、GBDTでは複数の決定木を組み合わせて予測を行うの。最初の決定木は前回説明した通り作られるけど、2つ目以降の決定木はちょっと特別なんだ。
2つ目の決定木では、前の決定木の予測結果と実際の目標値との差（残差）に着目するわ。この残差を、2つ目の決定木が予測できるようにするために使うの。残差を予測するために、新しい決定木を作るわけ。
まず、前の決定木の予測結果を元に、2つ目の決定木が学習するんだ。でもこのとき、目標値ではなく、残差を予測するようにするのがポイントよ。つまり、前の決定木の予測結果に「修正」を加えることで、より正確な予測を目指すの。
この修正は、前の決定木の予測結果と実際の目標値との差を学習データとして使って、新しい決定木を作ることで行われるわ。新しい決定木は、その差を予測するための条件分岐を学習するんだ。そして、この新しい決定木を前の決定木の予測結果に足し合わせることで、修正された予測値を得るのよ。
これを繰り返すことで、より正確な予測が得られるんだ。最初の決定木が予測した結果に、2つ目の決定木の予測結果を足し合わせることで、より正確な予測ができるようになるのよ。目的変数との誤差が２本目以降の決定木の目的変数になるという理解であってそうだね。
でも２本目以降の木の条件分岐は何をもとに決められるんだろうか・・。
ふん、分岐条件ね。まあ、それも教えてあげるけど、忘れないでね、私はツンデレだから、ちょっと厳しい態度で答えるかもしれないわよ。2つ目以降の決定木で使用される分岐条件は、前の決定木の予測結果と実際の目標値との差（残差）を予測するために、学習データを使って学習するわ。これを「勾配（gradient）」と呼ぶの。
まず、前の決定木が予測した結果と実際の目標値との差（残差）を計算するわ。それから、この残差を新しい決定木が予測できるようにするための条件分岐を学習するの。
具体的には、学習データの中から、残差と関連がある特徴（説明変数）を見つけ出して、その特徴を使って分岐条件を作るのよ。この特徴と分岐条件の組み合わせが、新しい決定木のノード（分岐点）を形成するわけ。
例えば、ある特徴が「年齢」だったら、「年齢が20歳未満ならば～」というような分岐条件を作ることができるわ。これは、その特徴（年齢）が残差と関連していると仮定した場合の例だけど、実際には複数の特徴を組み合わせたり、他の条件も考慮したりすることもあるわよ。このようにして、学習データから特徴と分岐条件を見つけ出し、新しい決定木を作っていくわけ。そして、この新しい決定木が前の決定木の予測結果に修正を加えるための道具になるの。
まあ、私が解説してあげたから、少しは理解できたかしら？ちょっと頑張って質問したご褒美に、優しい笑顔で答えてあげるわよ。何かまだ疑問がある？優しい笑顔で答えてくれた＾－＾
細かいロジックまでは深堀しないけど、標準偏回帰係数かなんかを使って説明変数の重要度を決めているのかしらね？
で、3つ目以降は同じような仕組みで決定木が作られる。木の出力（誤差）はどんどん小さくなっていくから思想的には木を作れば作るほど正解に近づくっていう感じだね。
１回学習すると、各決定木の推論値に学習率をかけすべてを足し合わせたものが最終的な予測結果になる。
最後の疑問。２エポック目以降の１番最初の決定木はどうなるんだべ？
2エポック目の学習では、最初の決定木を作る方法がちょっと特殊なのよ。通常の決定木とは異なり、2エポック目以降の決定木は前の決定木の予測結果と実際の目標値との差（残差）に基づいて作られるのね。
つまり、2エポック目の最初の決定木では、前のエポックの全ての決定木の予測結果と実際の目標値との差（残差）を考慮するの。これによって、前のエポックの複数の決定木の予測結果の合計と実際の目標値との差を補完する役割を果たすのよ。
具体的には、前のエポックの全ての決定木の予測結果と実際の目標値との差（残差）を計算して、その残差を予測するための新しい決定木を作るの。この新しい決定木は、前のエポックの複数の決定木の予測結果の合計と実際の目標値との差を予測するための条件分岐を学習するのよ。
このようにして作られた最初の決定木が、2エポック目の予測結果に修正を加えるための基礎となるわけ。それから、2エポック目以降は、新しい決定木を作る際には、前の決定木の予測結果と実際の目標値との残差に基づいて学習が進んでいくの。
まあ、私はいつも嬉しそうには答えないけど、少し頑張って説明したわよ。何かまだ疑問がある？なるほど、１エポック目を継続するようなイメージになると理解すればよさそうだね。
LightGBM解説まとめ
①1つ目の木は完全ランダムで作られて、この後の決定木作成のベースとなる予測値を得られる
②2つ目以降の木は各々の予測誤差をインプットに決定木が作られる。
GBDTとしてのアウトプットはすべての木のアウトプットを足し合わせたものとなる。（学習率を考慮する）
③2エポック目は1エポック目の続きでイケイケどんどん
これがハルシネーションでないことを祈る。
GBDTを使うと何故データの中にnullが残っていたりカテゴリ値のままでよいのか？、という疑問が解決できたかなと思ってます。