【Python】機械学習（教師あり学習 分類）LightGBMの実装

#必要なモジュールをインポートする
from sklearn import datasets
from sklearn.model_selection import train_test_split
import numpy as np
import matplotlib.pyplot as plt
import matplotlib
import lightgbm as lgb
import optuna
from sklearn.metrics import accuracy_score

#アヤメのデータセットを取得し、中身を確認する
iris = datasets.load_iris()

#irisデータセットの全行と全列をXに格納する
X = iris.data

#yにtargetを格納する
y = iris.target

#train_data ,testデータに分割し、分割できているか確認
train_X, test_X, train_y, test_y = train_test_split(X, y, test_size = 0.3, random_state=42)
print(f"train_X:{train_X.shape}")
print(f"test_X:{test_X.shape}")
print(f"train_y:{train_y.shape}")
print(f"test_y:{test_y.shape}")

# XGBoostで学習するためのデータ形式に変換する
lgb_train = lgb.Dataset(train_X, train_y)
lgb_valid = lgb.Dataset(test_X, test_y)

params = {
    'objective': 'multiclass', # 多クラス分類
    'num_class': 3, # クラスの数
    'metric': 'multi_logloss' # 損失関数にmulti_loglossを使用
}

# LightGBMでモデル構築を行う
model = lgb.train(params, lgb_train)
print(f"parameters: {model.params}")

# test_xに対するモデルの評価を行う
y_pred = model.predict(test_X)
y_pred_index = np.argmax(y_pred, axis=1)

print(y_pred_index)
print(test_y)

#算出したy_pred_indexとtest_yの正答率を出す
print(metrics.accuracy_score(test_y, y_pred_index))
print(metrics.classification_report(test_y, y_pred_index))

#重要度をプロット
lgb.plot_importance(model, height=0.5, figsize=(4,4))

#アヤメのデータセットを取得し、中身を確認する
iris = datasets.load_iris()

#irisデータセットの全行と全列をXに格納する
X = iris.data

#yにtargetを格納する
y = iris.target

#train_data ,testデータに分割し、分割できているか確認
train_X, test_X, train_y, test_y = train_test_split(X, y, test_size = 0.3, random_state=42)
print(f"train_X:{train_X.shape}")
print(f"test_X:{test_X.shape}")
print(f"train_y:{train_y.shape}")
print(f"test_y:{test_y.shape}")

# XGBoostで学習するためのデータ形式に変換する
lgb_train = lgb.Dataset(train_X, train_y)
lgb_valid = lgb.Dataset(test_X, test_y)

params = {
    'objective': 'multiclass', # 多クラス分類
    'num_class': 3, # クラスの数
    'metric': 'multi_logloss' # 損失関数にmulti_loglossを使用
}

# LightGBMでモデル構築を行う
model = lgb.train(params, lgb_train)
print(f"parameters: {model.params}")

# test_xに対するモデルの評価を行う
y_pred = model.predict(test_X)
y_pred_index = np.argmax(y_pred, axis=1)

print(y_pred_index)
print(test_y)

#算出したy_pred_indexとtest_yの正答率を出す
print(metrics.accuracy_score(test_y, y_pred_index))
print(metrics.classification_report(test_y, y_pred_index))

#重要度をプロット
lgb.plot_importance(model, height=0.5, figsize=(4,4))

# objective(目的関数)パラメータ
params = {
    #回帰
    "objective":"regression",#デフォルト値、L2損失（平均二乗誤差、MSE）を最小化する回帰モデルを構築
    "objective":"regression_l1",#L1損失（平均絶対誤差、MAE）を最小化する回帰モデルを構築

    #二値分類
    "objective":"binary",#ラベルは0 or 1

    #多項分類
    "objective":"multiclass",
}

# metric(モデル構築の損失関数)のパラメータ、機械学習モデルの性能を評価するための基準や指標のこと
#機械学習モデルが与えられたタスクをどれだけうまく解決できているかを定量的に評価するために使用されます
params = {
    #回帰
    "metric":"mse",#デフォルト値、L2損失（平均二乗誤差、MSE）を最小化する回帰モデルを構築
    "metric":"mae",#L1損失（平均絶対誤差、MAE）を最小化する回帰モデルを構築

    #二値分類
    "metric":"binary_logloss",#クロスエントロピー、分類モデルの性能評価の際に使われる
    "metric":"binary_error",#正答率、正しく予測されたサンプルの割合を示し、分類モデルの全体的な予測精度を評価する

    #多項分類
    "metric":"multi_logloss",#多クラス交差エントロピー損失,予測が正しいクラスになる確率を最大化するように学習させる
    "metric":"multi_error",#正解と異なるクラスに予測されたサンプルの割合
}

#boosting、LightGBMなどの勾配ブースティングモデルのトレーニング中に使用されるパラメータです
params = {
     "boosting":"gbdt",#デフォルト、従来の Gradient Boosting Decision Tree
     "boosting":"rt",#ランダムフォレスト、訓練データからランダムに選択されたサンプルで多数の決定木をトレーニングし、それらの結果を平均して予測を行う
     "boosting":"dart",#ドロップアウトを用いたアンサンブルアルゴリズム
     "boosting":"goss",#勾配ベースの片側サンプリングアルゴリズム、情報の少ないサンプルを効果的に除外することで、トレーニングの効率を向上させることができる
}

#num_class 多項分類の場合にクラスの数を設定することが推奨されている
params = {
    #多項分類の場合
    "num_class":3,
}

#max_depth 決定木の深さ、デフォルトはfull treeまで学習してしまうので、何か値を入れておくのがよい
params = {
    "max_depth":3,
}

#learning_rate 学習の圧縮率、小さければ学習時間が必要となる
params = {
    "learning_rate":"0.1"#デフォルト値は0.1
}

#num_iterations モデルが学習する決定木の数
params = {
    "num_iterations":"100"#デフォルト値は100
}