egaopapa
-
-
日本株をpythonで処理してみる
2023/5/30 python
メモ書き的なもの yahoo_finance_api2を利用するのでインストール。銘柄コードを網羅したいのでここからダウンロード。同じく日経平均のデータも。 import sys import pandas as pd import seaborn as sns import matplotlib.pyplot as plt from yahoo_finance_api2 import share ...
-
-
GPTさんにGBDTについて教えてもらう
実はちゃんと仕組みを理解してなかったので、これを機に理解を深めてみようと思う。教師にChatGPTを使ってみた。 ちなみにKggle本には以下のように書かれている。１．目的変数と予測値から計算される目的関数を改善するように、決定木を作成してモデルに追加する２．１を．をハイパーパラメータで定めた決定木の本数の分だけ繰り返すこれじゃわからないということで勉強をしよう！ まずはじめに ChatGPTにど ...
-
-
実際のデータでGBDTを試してみる
https://signate.jp/competitions/264/dataのデータサイズがお手頃感があるので、これを使って前回の記事の一番最後に書いたLightGBMの特徴について調べてみる。 と高をくくっていたら、特徴量抽出に3日ほどかかりましたとさ・・・実装力のなさが顕著に出た。 display(len(target_df.columns)) >128 元データのカラム数は17だっ ...
-
-
コンペでの勾配Boostingについて
Kaggleなどのコンペでは初手にGBDT(Gradient Boosting Decision Tree)と言われるけど、なんでなんだっけ？みたいなところを勉強してみる。ここではまずlightGBMを触って理解をしてみる。 とりあえずなけなしの知識での仮説としては、 １．カテゴリ変数を変換なく扱うことが出来る２．欠損値をそのままでも扱うことが出来る これが大きな要素であると理解をしている状況。 ...
-
-
理想のpython開発環境を作る：pytorchを使う
１．簡単なpython環境を作る２．jupyterをVS Codeで使う３．Githubと連携４．Dockerfileで自前の環境構築５．tensorflowを使う６．pytorchを使う(今ココ) 書籍の環境構築は書籍に譲るとして、自前で何かしたいときの対応をしてみる。（pytorch派なのでtensorflowは一旦捨て置く）あとvscodeのnotebookが微妙に使いづらいのでここでなんと ...
-
-
理想のpython開発環境を作る：tensorflowを使う
１．簡単なpython環境を作る２．jupyterをVS Codeで使う３．Githubと連携４．Dockerfileで自前の環境構築５．tensorflowを使う(今ココ)６．pytorchを使う ４．Dockerfileで自前の環境構築ではrequirements.txtの中にtensorflowを入れている。これが動くかどうか。libcudart.so.11.0がないと怒られる。cuda系の ...
-
-
理想のpython開発環境を作る：Githubと連携
１．簡単なpython環境を作る２．jupyterをVS Codeで使う３．Githubと連携(今ココ)４．Dockerfileで自前の環境構築５．tensorflowを使う６．pytorchを使う 書いたコードは出来れば残しておきたいときもある。 Gitはインストールしておきましょう。 vscodeの「コードの管理メニュー」を選択して、Githubに公開を選択。VS Codeとの連携を許可する処 ...
-
-
理想のpython開発環境を作る：Dockerfileで自前の環境構築
１．簡単なpython環境を作る２．jupyterをVS Codeで使う３．Githubと連携４．Dockerfileで自前の環境構築(今ココ)５．tensorflowを使う６．pytorchを使う これまでは、VSCodeから引っ張ってくるコンテナを使っていたけど、ここでは自前のコンテナを使えるかどうかを確認してみる。 vscode上で自前コンテナの中をいじくりまわす 簡単なDockerFile ...
-
-
理想のpython開発環境を作る：jupyterをVS Codeで使う
１．簡単なpython環境を作る２．jupyterをVS Codeで使う(今ココ)３．Githubと連携４．Dockerfileで自前の環境構築５．tensorflowを使う６．pytorchを使う jupyterとDevContainerの共存 データサイエンス系ってjupyter notebook使うじゃぁないですか。このあたりをコンテナの環境を使って実現してみたいよね、という作業。とにも書く ...
-
-
理想のpython開発環境を作る：簡単なpython開発環境を作る
１．簡単なpython環境を作る(今ココ)２．jupyterをVS Codeで使う３．Githubと連携４．Dockerfileで自前の環境構築５．tensorflowを使う６．pytorchを使う まずは簡単なpython環境から 新しいコンテナを作って開発 CUDA toolkitとかの関連で設定が面倒くさそうなのが予想されるので、まずは簡単なものからやってみよう。 まずはVS Codeの「D ...