【Python】機械学習（教師あり学習 分類）決定木の実装

from sklearn.model_selection import train_test_split 
from sklearn import datasets
import numpy as np
import matplotlib.pyplot as plt
import matplotlib
from sklearn.tree import DecisionTreeClassifier
from sklearn import metrics

#アヤメのデータセットを取得し、中身を確認する
iris = datasets.load_iris()

#irisデータセットの全行と0列目、2列目をXに格納する
X = iris.data[0:, [0,2]]

#yにtargetを格納する
y = iris.target

#train_data ,testデータに分割し、分割できているか確認
train_X, test_X, train_y, test_y = train_test_split(X, y, test_size = 0.3, random_state=42)
print(f"train_X:{train_X.shape}")
print(f"test_X:{test_X.shape}")
print(f"train_y:{train_y.shape}")
print(f"test_y:{test_y.shape}")

#max_dipthハイパーパラメータの違いによる正解率をグラフで表してみる
#max_depthの値の範囲を指定する
depth_list = [i for i in range(1,11)]

#正解率を格納する空リストを作成
accuracy = []

#max_depthを変えながらモデルを学習

for max_depth in depth_list:
    model_test = DecisionTreeClassifier(max_depth = max_depth, random_state=42)
    model_test.fit(train_X, train_y)
    accuracy.append(model_test.score(test_X, test_y))

#正解率を可視化する
plt.plot(depth_list, accuracy)
plt.xlabel("max_depth")
plt.ylabel("accuracy")
plt.title("accuracy by changing max_depth")
plt.show()

#max_depth 6でモデルを構築する
model = DecisionTreeClassifier(max_depth = 6)

#モデルに学習させる
model.fit(train_X, train_y)

#test_xに対するモデルの評価を行う
y_pred = model.predict(test_X)

#test_xとtest_yを用いた場合の正答率を出す
print(f"Decision Tree score: {model.score(test_X, test_y)}")

#算出したy_predとtest_yの正答率を出す
print(metrics.accuracy_score(test_y,y_pred))
print(metrics.classification_report(test_y, y_pred))

#モデルが学習した決定境界をプロットしていく
#特徴空間の範囲を指定する、0列目の特徴量、1列目の特徴量の最小値-1と最大値+1を指定し、特徴空間の範囲を広げておく
x1_min, x1_max = X[:, 0].min() -1, X[:, 0].max() + 1
x2_min, x2_max = X[:, 1].min() -1, X[:, 1].max() + 1

#徴空間をメッシュグリッドで表現する、meshgridで格子点を作る
#x1_min,x1_maxまでの範囲を0.02刻みで配列を作成する
xx1, xx2 = np.meshgrid(np.arange(x1_min, x1_max, 0.02), np.arange(x2_min, x2_max, 0.02))

#学習済モデル(model)を使用し、各座標のラベルを予測する
Z = model.predict(np.array([xx1.ravel(), xx2.ravel()]).T).reshape(xx1.shape)

#contourfで等高線を作成し、alphaで透明度、cmapでカラーマップを指定する
plt.contourf(xx1, xx2, Z, cmap=matplotlib.cm.get_cmap(name="Wistia"), alpha=0.4)

#散布図を描画する
for i in np.unique(y):
    plt.scatter(X[y == i , 0], X[y == i, 1], marker=".", label=f"{i}")

plt.xlim(xx1.min(), xx1.max())
plt.ylim(xx2.min(), xx2.max())
plt.title("Classification data using DecisionTreeClassifier")
plt.xlabel("Sepal length")
plt.ylabel("Petal length")
plt.grid(True)
plt.legend()
plt.show()

#予測モデルの説明変数の重要度の可視化を行う
feature = model.feature_importances_
label = [iris.feature_names[0],iris.feature_names[2]]
indices = np.argsort(feature)

#特徴量の重要度の棒グラフを描画する
plt.barh(range(len(feature)),feature[indices])
plt.yticks(range(len(feature)), [label[i] for i in indices], fontsize=14)
plt.xticks(fontsize=14)
plt.ylabel("Feature", fontsize=18)
plt.xlabel("Feature Importance", fontsize=18)

#irisデータセットを取得し、中身を確認する
iris = datasets.load_iris()
iris.keys()

#irisデータセットの全行と0列目(sepal length)、2列目(petal length)をXに格納する
X = iris.data[0:, [0,2]]

#yにtargetを格納する
y = iris.target

#train_data ,testデータに分割し、分割できているか確認
train_X, test_X, train_y, test_y = train_test_split(X, y, test_size = 0.3, random_state=42)
print(f"train_X:{train_X.shape}")
print(f"test_X:{test_X.shape}")
print(f"train_y:{train_y.shape}")
print(f"test_y:{test_y.shape}")

#max_dipthハイパーパラメータの違いによる正解率をグラフで表してみる
#max_depthの値の範囲を指定する
depth_list = [i for i in range(1,11)]

#正解率を格納する空リストを作成
accuracy = []

#max_depthを変えながらモデルを学習
for max_depth in depth_list:
    model_test = DecisionTreeClassifier(max_depth = max_depth, random_state=42)
    model_test.fit(train_X, train_y)
    accuracy.append(model_test.score(test_X, test_y))

#正解率を可視化する
plt.plot(depth_list, accuracy)
plt.xlabel("max_depth")
plt.ylabel("accuracy")
plt.title("accuracy by changing max_depth")
plt.show()

#max_depth 6でモデルを構築する
model = DecisionTreeClassifier(max_depth = 6)

#モデルに学習させる
model.fit(train_X, train_y)

#test_xに対するモデルの評価を行う
y_pred = model.predict(test_X)

#test_xとtest_yを用いた場合の正答率を出す
print(f"Decision Tree score: {model.score(test_X, test_y)}")

#算出したy_predとtest_yの正答率を出す
print(metrics.accuracy_score(test_y,y_pred))
print(metrics.classification_report(test_y, y_pred))

#可視化していく
#モデルが学習した決定境界をプロットしていく
#特徴空間の範囲を指定する、0列目の特徴量、1列目の特徴量の最小値-1と最大値+1を指定し、特徴空間の範囲を広げておく
x1_min, x1_max = X[:, 0].min() -1, X[:, 0].max() +1
x2_min, x2_max = X[:, 1].min() -1, X[:, 1].max() +1

#特徴空間をメッシュグリッドで表現する
#x1_min,x1_max/x2_min,x2_maxまでの範囲を0.02刻みで配列を作成する
xx1, xx2 = np.meshgrid(np.arange(x1_min, x1_max, 0.02),
                       np.arange(x2_min, x2_max, 0.02))

#学習済モデル(model1)を使用し、各座標のラベルを予測する
Z = model.predict(np.array([xx1.ravel(), xx2.ravel()]).T).reshape(xx1.shape)

#contourfで等高線を作成し、alphaで透明度、cmapでカラーマップを指定する
plt.contourf(xx1, xx2, Z, cmap=matplotlib.cm.get_cmap(name="Wistia"), alpha=0.4)

#散布図を描画する
for i in np.unique(y):
    plt.scatter(X[y == i , 0], X[y == i, 1], marker=".", label=f"{i}")

plt.xlim(xx1.min(), xx1.max())
plt.ylim(xx2.min(), xx2.max())
plt.title("Classification data using DecisionTreeClassifier")
plt.xlabel("Sepal length")
plt.ylabel("Petal length")
plt.grid(True)
plt.legend()
plt.show()

#予測モデルの説明変数の重要度の可視化を行う
feature = model.feature_importances_
label = [iris.feature_names[0],iris.feature_names[2]]
indices = np.argsort(feature)

#特徴量の重要度の棒グラフを描画する
plt.barh(range(len(feature)),feature[indices])
plt.yticks(range(len(feature)), [label[i] for i in indices], fontsize=14)
plt.xticks(fontsize=14)
plt.ylabel("Feature", fontsize=18)
plt.xlabel("Feature Importance", fontsize=18)