scikit-learnのアルゴリズム
scikit-learnには、機械学習に利用できるアルゴリズムが数多く実装されています。
回帰 (regression)
実数値をデータで学習し、実数値を予測する。
scikit-learnが搭載するアルゴリズムには、SGD回帰、LASSO回帰などがある。
分類 (classification)
正解ラベルとそのデータを学習し、データに対してのラベルを予測する。
scikit-learnが搭載するアルゴリズムには、カーネル近似、k近傍法などがある。
クラスタリング (clustering)
データの似ている部分をグループにして、データの特徴やパターンを発見する。
scikit-learn が搭載するアルゴリズムには、k平均法、スペクトラルクラスタリングなどがある。
scikit-learnのサイトには便利なアルゴリズムチートシートがあります。
どのアルゴリズムを使えば良いか、ここから見つけることができます。
The Iris(日本語でアヤメ) Dataset
scikit-learnにはあらかじめ用意してある学習用のデータがあります。
The Iris(日本語でアヤメ) Dataset というデータです。
このデータを訓練用データと評価用データに分け、訓練用データを使ってk近傍法による教師あり学習を行い、評価データの分類をしてみようと思います。
このデータセットは、3種類のアヤメ（Setosa, Versicolour, Virginica）をそれぞれ50づづ、４種のデータ(花弁の長さ、花弁の幅、がく片の長さ、がく片の幅)を格納したものです。
それでは、Iris Dataset を読み込んでみましょう。
専用の load_iris() という関数があるのでこの関数を使ってデータを読み込みます。
from sklearn.datasets import load_iris iris_dataset = load_iris()
データの内容をを見てみます。
Iris Dataset の属性をいくつか見てみます。
print(iris_datasets.data)
４種のデータ(‘sepal length (cm)’, ‘sepal width (cm)’, ‘petal length (cm)’, ‘petal width (cm)’)を持つデータが150個登録されています。
[[5.1 3.5 1.4 0.2] [4.9 3. 1.4 0.2] [4.7 3.2 1.3 0.2] [4.6 3.1 1.5 0.2] [5. 3.6 1.4 0.2] [5.4 3.9 1.7 0.4] [4.6 3.4 1.4 0.3] [5. 3.4 1.5 0.2] [4.4 2.9 1.4 0.2] [4.9 3.1 1.5 0.1] [5.4 3.7 1.5 0.2] [4.8 3.4 1.6 0.2] [4.8 3. 1.4 0.1] [4.3 3. 1.1 0.1] [5.8 4. 1.2 0.2] [5.7 4.4 1.5 0.4] [5.4 3.9 1.3 0.4] [5.1 3.5 1.4 0.3] [5.7 3.8 1.7 0.3] [5.1 3.8 1.5 0.3] [5.4 3.4 1.7 0.2] [5.1 3.7 1.5 0.4] [4.6 3.6 1. 0.2] [5.1 3.3 1.7 0.5] [4.8 3.4 1.9 0.2] [5. 3. 1.6 0.2] [5. 3.4 1.6 0.4] [5.2 3.5 1.5 0.2] [5.2 3.4 1.4 0.2] [4.7 3.2 1.6 0.2] [4.8 3.1 1.6 0.2] [5.4 3.4 1.5 0.4] [5.2 4.1 1.5 0.1] [5.5 4.2 1.4 0.2] [4.9 3.1 1.5 0.2] [5. 3.2 1.2 0.2] [5.5 3.5 1.3 0.2] [4.9 3.6 1.4 0.1] [4.4 3. 1.3 0.2] [5.1 3.4 1.5 0.2] [5. 3.5 1.3 0.3] [4.5 2.3 1.3 0.3] [4.4 3.2 1.3 0.2] [5. 3.5 1.6 0.6] [5.1 3.8 1.9 0.4] [4.8 3. 1.4 0.3] [5.1 3.8 1.6 0.2] [4.6 3.2 1.4 0.2] [5.3 3.7 1.5 0.2] [5. 3.3 1.4 0.2] [7. 3.2 4.7 1.4] [6.4 3.2 4.5 1.5] [6.9 3.1 4.9 1.5] [5.5 2.3 4. 1.3] [6.5 2.8 4.6 1.5] [5.7 2.8 4.5 1.3] [6.3 3.3 4.7 1.6] [4.9 2.4 3.3 1. ] [6.6 2.9 4.6 1.3] [5.2 2.7 3.9 1.4] [5. 2. 3.5 1. ] [5.9 3. 4.2 1.5] [6. 2.2 4. 1. ] [6.1 2.9 4.7 1.4] [5.6 2.9 3.6 1.3] [6.7 3.1 4.4 1.4] [5.6 3. 4.5 1.5] [5.8 2.7 4.1 1. ] [6.2 2.2 4.5 1.5] [5.6 2.5 3.9 1.1] [5.9 3.2 4.8 1.8] [6.1 2.8 4. 1.3] [6.3 2.5 4.9 1.5] [6.1 2.8 4.7 1.2] [6.4 2.9 4.3 1.3] [6.6 3. 4.4 1.4] [6.8 2.8 4.8 1.4] [6.7 3. 5. 1.7] [6. 2.9 4.5 1.5] [5.7 2.6 3.5 1. ] [5.5 2.4 3.8 1.1] [5.5 2.4 3.7 1. ] [5.8 2.7 3.9 1.2] [6. 2.7 5.1 1.6] [5.4 3. 4.5 1.5] [6. 3.4 4.5 1.6] [6.7 3.1 4.7 1.5] [6.3 2.3 4.4 1.3] [5.6 3. 4.1 1.3] [5.5 2.5 4. 1.3] [5.5 2.6 4.4 1.2] [6.1 3. 4.6 1.4] [5.8 2.6 4. 1.2] [5. 2.3 3.3 1. ] [5.6 2.7 4.2 1.3] [5.7 3. 4.2 1.2] [5.7 2.9 4.2 1.3] [6.2 2.9 4.3 1.3] [5.1 2.5 3. 1.1] [5.7 2.8 4.1 1.3] [6.3 3.3 6. 2.5] [5.8 2.7 5.1 1.9] [7.1 3. 5.9 2.1] [6.3 2.9 5.6 1.8] [6.5 3. 5.8 2.2] [7.6 3. 6.6 2.1] [4.9 2.5 4.5 1.7] [7.3 2.9 6.3 1.8] [6.7 2.5 5.8 1.8] [7.2 3.6 6.1 2.5] [6.5 3.2 5.1 2. ] [6.4 2.7 5.3 1.9] [6.8 3. 5.5 2.1] [5.7 2.5 5. 2. ] [5.8 2.8 5.1 2.4] [6.4 3.2 5.3 2.3] [6.5 3. 5.5 1.8] [7.7 3.8 6.7 2.2] [7.7 2.6 6.9 2.3] [6. 2.2 5. 1.5] [6.9 3.2 5.7 2.3] [5.6 2.8 4.9 2. ] [7.7 2.8 6.7 2. ] [6.3 2.7 4.9 1.8] [6.7 3.3 5.7 2.1] [7.2 3.2 6. 1.8] [6.2 2.8 4.8 1.8] [6.1 3. 4.9 1.8] [6.4 2.8 5.6 2.1] [7.2 3. 5.8 1.6] [7.4 2.8 6.1 1.9] [7.9 3.8 6.4 2. ] [6.4 2.8 5.6 2.2] [6.3 2.8 5.1 1.5] [6.1 2.6 5.6 1.4] [7.7 3. 6.1 2.3] [6.3 3.4 5.6 2.4] [6.4 3.1 5.5 1.8] [6. 3. 4.8 1.8] [6.9 3.1 5.4 2.1] [6.7 3.1 5.6 2.4] [6.9 3.1 5.1 2.3] [5.8 2.7 5.1 1.9] [6.8 3.2 5.9 2.3] [6.7 3.3 5.7 2.5] [6.7 3. 5.2 2.3] [6.3 2.5 5. 1.9] [6.5 3. 5.2 2. ] [6.2 3.4 5.4 2.3] [5.9 3. 5.1 1.8]]
属性 target を見てみます。
print(iris_datasets.target)
0(setosa), 1(versicolor), 2(virginica) の3種類のアヤメのデータが50個ずつ並んでいます。
[0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2]
属性 feature_names を見てみます。
print(iris_datasets.feature_names)
４つのデータの説明です。
['sepal length (cm)', 'sepal width (cm)', 'petal length (cm)', 'petal width (cm)']
属性 target_names を見てみます。
print(iris_datasets.target_names)
Irisの３つの種の名称です。
['setosa' 'versicolor' 'virginica']
以下の属性では Iris Dataset の説明が表示されます。
print(iris_datasets.DESCR)
.. _iris_dataset:
Iris plants dataset
--------------------
**Data Set Characteristics:**
:Number of Instances: 150 (50 in each of three classes)
:Number of Attributes: 4 numeric, predictive attributes and the class
:Attribute Information:
- sepal length in cm
- sepal width in cm
- petal length in cm
- petal width in cm
- class:
- Iris-Setosa
- Iris-Versicolour
- Iris-Virginica
:Summary Statistics:
============== ==== ==== ======= ===== ====================
Min Max Mean SD Class Correlation
============== ==== ==== ======= ===== ====================
sepal length: 4.3 7.9 5.84 0.83 0.7826
sepal width: 2.0 4.4 3.05 0.43 -0.4194
petal length: 1.0 6.9 3.76 1.76 0.9490 (high!)
petal width: 0.1 2.5 1.20 0.76 0.9565 (high!)
============== ==== ==== ======= ===== ====================
:Missing Attribute Values: None
:Class Distribution: 33.3% for each of 3 classes.
:Creator: R.A. Fisher
:Donor: Michael Marshall (MARSHALL%PLU@io.arc.nasa.gov)
:Date: July, 1988
The famous Iris database, first used by Sir R.A. Fisher. The dataset is taken
from Fisher's paper. Note that it's the same as in R, but not as in the UCI
Machine Learning Repository, which has two wrong data points.
This is perhaps the best known database to be found in the
pattern recognition literature. Fisher's paper is a classic in the field and
is referenced frequently to this day. (See Duda & Hart, for example.) The
data set contains 3 classes of 50 instances each, where each class refers to a
type of iris plant. One class is linearly separable from the other 2; the
latter are NOT linearly separable from each other.
.. topic:: References
- Fisher, R.A. "The use of multiple measurements in taxonomic problems"
Annual Eugenics, 7, Part II, 179-188 (1936); also in "Contributions to
Mathematical Statistics" (John Wiley, NY, 1950).
- Duda, R.O., & Hart, P.E. (1973) Pattern Classification and Scene Analysis.
(Q327.D83) John Wiley & Sons. ISBN 0-471-22361-1. See page 218.
- Dasarathy, B.V. (1980) "Nosing Around the Neighborhood: A New System
Structure and Classification Rule for Recognition in Partially Exposed
Environments". IEEE Transactions on Pattern Analysis and Machine
Intelligence, Vol. PAMI-2, No. 1, 67-71.
- Gates, G.W. (1972) "The Reduced Nearest Neighbor Rule". IEEE Transactions
on Information Theory, May 1972, 431-433.
- See also: 1988 MLC Proceedings, 54-64. Cheeseman et al"s AUTOCLASS II
conceptual clustering system finds 3 classes in the data.
- Many, many more ...
訓練用と評価用にデータを分割
では150のデータを、訓練用と評価用に分けます。
scikit-learn の train_test_split() という関数を使います。
引数説明
*arrays(必須)
対象とするデータ。リスト、numpyの配列、scipy-sparseの行列、pandasのdataframesが可能です。
test_size
入力値：float, int
初期値：なし
floatの場合、0.0から1.0の間で、テストデータに含めるデータセットの比率を表します。
intの場合、テストサンプルの絶対数を表します。
test_size、train_sizeとも指定がない場合は、0.25に設定されます。
train_size
入力値：float, int
初期値：なし
test_sizeと同様に訓練用データに含めるデータセットの比率または絶対数を表します。
random_state
入力値：int, RandomStateインスタンス
初期値：なし
乱数シードを指定します。
乱数シードを固定すると常に同じように分割されます。
shuffle
入力値：bool
初期値：True
分割する前にデータをシャッフルするかどうかを指定します。
データを分割します。
引数に、対象データ(iris_datasets[‘data’])、正解ラベル(iris_datasets[‘target’])、分割率(テストデータを33%)、シード値(42) を指定します。
分割した値は、X_train(訓練用のデータ, X_test(評価用のデータ), x_train(訓練用の正解ラベル), x_test(評価用の正解ラベル) となります。
from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test = train_test_split(iris_datasets['data'], iris_datasets['target'], test_size=0.33, random_state=42)
分割された状態を見てみます。正解ラベルが訓練用、評価用それぞれランダムでうまくバラついていれば成功です。
y_train
array([1, 2, 1, 0, 2, 1, 0, 0, 0, 1, 2, 0, 0, 0, 1, 0, 1, 2, 0, 1, 2, 0,
2, 2, 1, 1, 2, 1, 0, 1, 2, 0, 0, 1, 1, 0, 2, 0, 0, 1, 1, 2, 1, 2,
2, 1, 0, 0, 2, 2, 0, 0, 0, 1, 2, 0, 2, 2, 0, 1, 1, 2, 1, 2, 0, 2,
1, 2, 1, 1, 1, 0, 1, 1, 0, 1, 2, 2, 0, 1, 2, 2, 0, 2, 0, 1, 2, 2,
1, 2, 1, 1, 2, 2, 0, 1, 2, 0, 1, 2])
y_test
array([1, 0, 2, 1, 1, 0, 1, 2, 1, 1, 2, 0, 0, 0, 0, 1, 2, 1, 1, 2, 0, 2,
0, 2, 2, 2, 2, 2, 0, 0, 0, 0, 1, 0, 0, 2, 1, 0, 0, 0, 2, 1, 1, 0,
0, 1, 2, 2, 1, 2])
0,1,2 がランダムに並んでいます。成功です。
データの学習と評価
k近傍法による機械学習を行います。
k近傍法について簡単に説明します。
訓練用データを正解データと一緒にベクトル空間に配置しておきます。
次に訓練用データをそれぞれ近い位置にある正解データを使ってクラスに分類します。
ここに評価用のデータを与え、どのクラスに属するのかを予測します。
予測の方法は、与えられたデータが、「最も近いk個の点がどのクラスに一番多く属するか」で与えられたデータが属するクラスを決定します。
k近傍法でクラス分類を行う学習モデルを構築するには、scikit-learn の KNeighborsClassifier クラスを使います。
KNeighborsClassifier インスタンス作成の引数の説明です。
引数説明
n_neighbors
入力値：int
初期値：5
kneighborsクエリでデフォルトで使用する近傍の数。
weights
入力値：{‘uniform’, ‘distance’}, callable or None
初期値：’uniform’
予測に使用する重み関数。
‘uniform’ : 均一な重み付け 各近傍のすべての点が等しく重み付けされます(デフォルト値)。
‘distance’ : 距離の逆数でポイントを重み付けします。この場合、クエリポイントに近い隣人は、遠い隣人よりも影響力が大きくなります。
[callable] : 距離の配列を受け取り、重みを含む同じ形の配列を返す、ユーザー定義関数です。
algorithm
入力値：{‘auto’, ‘ball_tree’, ‘kd_tree’, ‘brute’}
初期値：’auto’
最近傍の計算を行うためのアルゴリズム。
‘auto’ : 自動選択（初期値）
‘ball_tree’ : BallTreeデータ構造
‘kd_tree’ : KD木データ構造
‘brute’ : brute-force search（総当たり検索）
leaf_size
入力値：int
初期値：30
BallTreeまたはKDTreeに渡されるリーフサイズ。
n_jobs
入力値：int
初期値：なし
近傍探索のために実行される並列ジョブの数を指定します。
noneはjoblib.parallel_backendのコンテキストでない限り1を意味します。
-1 はすべてのプロセッサを使用することを意味します。
では、訓練用データから学習モデルを構築します。
KNeighborsClassifierクラスをインポートして、KNeighborsClassifierオブジェクトを生成します。kの値のn_neighborsは、3 にします。
from sklearn.neighbors import KNeighborsClassifier neigh = KNeighborsClassifier(n_neighbors=3)
scikit-learnでは、学習は fit() で、予測は、predict() で行います。
訓練用データをfit関数を使って読み込んで学習します。
neigh.fit(X_train, y_train)
訓練用データの中からデータを1つ predict() 関数に与えて、正しく学習しているか確認してみます。
訓練用データは以下のようになっていました。
訓練用データ
X_train
array([[5.7, 2.9, 4.2, 1.3],
[7.6, 3. , 6.6, 2.1],
[5.6, 3. , 4.5, 1.5],
[5.1, 3.5, 1.4, 0.2],
[7.7, 2.8, 6.7, 2. ],
[5.8, 2.7, 4.1, 1. ],
[5.2, 3.4, 1.4, 0.2],
[5. , 3.5, 1.3, 0.3],
[5.1, 3.8, 1.9, 0.4],
[5. , 2. , 3.5, 1. ],
[6.3, 2.7, 4.9, 1.8],
[4.8, 3.4, 1.9, 0.2],
[5. , 3. , 1.6, 0.2],
[5.1, 3.3, 1.7, 0.5],
[5.6, 2.7, 4.2, 1.3],
[5.1, 3.4, 1.5, 0.2],
[5.7, 3. , 4.2, 1.2],
[7.7, 3.8, 6.7, 2.2],
[4.6, 3.2, 1.4, 0.2],
[6.2, 2.9, 4.3, 1.3],
[5.7, 2.5, 5. , 2. ],
[5.5, 4.2, 1.4, 0.2],
[6. , 3. , 4.8, 1.8],
[5.8, 2.7, 5.1, 1.9],
[6. , 2.2, 4. , 1. ],
[5.4, 3. , 4.5, 1.5],
[6.2, 3.4, 5.4, 2.3],
[5.5, 2.3, 4. , 1.3],
[5.4, 3.9, 1.7, 0.4],
[5. , 2.3, 3.3, 1. ],
[6.4, 2.7, 5.3, 1.9],
[5. , 3.3, 1.4, 0.2],
[5. , 3.2, 1.2, 0.2],
[5.5, 2.4, 3.8, 1.1],
[6.7, 3. , 5. , 1.7],
[4.9, 3.1, 1.5, 0.2],
[5.8, 2.8, 5.1, 2.4],
[5. , 3.4, 1.5, 0.2],
[5. , 3.5, 1.6, 0.6],
[5.9, 3.2, 4.8, 1.8],
[5.1, 2.5, 3. , 1.1],
[6.9, 3.2, 5.7, 2.3],
[6. , 2.7, 5.1, 1.6],
[6.1, 2.6, 5.6, 1.4],
[7.7, 3. , 6.1, 2.3],
[5.5, 2.5, 4. , 1.3],
[4.4, 2.9, 1.4, 0.2],
[4.3, 3. , 1.1, 0.1],
[6. , 2.2, 5. , 1.5],
[7.2, 3.2, 6. , 1.8],
[4.6, 3.1, 1.5, 0.2],
[5.1, 3.5, 1.4, 0.3],
[4.4, 3. , 1.3, 0.2],
[6.3, 2.5, 4.9, 1.5],
[6.3, 3.4, 5.6, 2.4],
[4.6, 3.4, 1.4, 0.3],
[6.8, 3. , 5.5, 2.1],
[6.3, 3.3, 6. , 2.5],
[4.7, 3.2, 1.3, 0.2],
[6.1, 2.9, 4.7, 1.4],
[6.5, 2.8, 4.6, 1.5],
[6.2, 2.8, 4.8, 1.8],
[7. , 3.2, 4.7, 1.4],
[6.4, 3.2, 5.3, 2.3],
[5.1, 3.8, 1.6, 0.2],
[6.9, 3.1, 5.4, 2.1],
[5.9, 3. , 4.2, 1.5],
[6.5, 3. , 5.2, 2. ],
[5.7, 2.6, 3.5, 1. ],
[5.2, 2.7, 3.9, 1.4],
[6.1, 3. , 4.6, 1.4],
[4.5, 2.3, 1.3, 0.3],
[6.6, 2.9, 4.6, 1.3],
[5.5, 2.6, 4.4, 1.2],
[5.3, 3.7, 1.5, 0.2],
[5.6, 3. , 4.1, 1.3],
[7.3, 2.9, 6.3, 1.8],
[6.7, 3.3, 5.7, 2.1],
[5.1, 3.7, 1.5, 0.4],
[4.9, 2.4, 3.3, 1. ],
[6.7, 3.3, 5.7, 2.5],
[7.2, 3. , 5.8, 1.6],
[4.9, 3.6, 1.4, 0.1],
[6.7, 3.1, 5.6, 2.4],
[4.9, 3. , 1.4, 0.2],
[6.9, 3.1, 4.9, 1.5],
[7.4, 2.8, 6.1, 1.9],
[6.3, 2.9, 5.6, 1.8],
[5.7, 2.8, 4.1, 1.3],
[6.5, 3. , 5.5, 1.8],
[6.3, 2.3, 4.4, 1.3],
[6.4, 2.9, 4.3, 1.3],
[5.6, 2.8, 4.9, 2. ],
[5.9, 3. , 5.1, 1.8],
[5.4, 3.4, 1.7, 0.2],
[6.1, 2.8, 4. , 1.3],
[4.9, 2.5, 4.5, 1.7],
[5.8, 4. , 1.2, 0.2],
[5.8, 2.6, 4. , 1.2],
[7.1, 3. , 5.9, 2.1]])
訓練用正解ラベル
y_train
array([1, 2, 1, 0, 2, 1, 0, 0, 0, 1, 2, 0, 0, 0, 1, 0, 1, 2, 0, 1, 2, 0,
2, 2, 1, 1, 2, 1, 0, 1, 2, 0, 0, 1, 1, 0, 2, 0, 0, 1, 1, 2, 1, 2,
2, 1, 0, 0, 2, 2, 0, 0, 0, 1, 2, 0, 2, 2, 0, 1, 1, 2, 1, 2, 0, 2,
1, 2, 1, 1, 1, 0, 1, 1, 0, 1, 2, 2, 0, 1, 2, 2, 0, 2, 0, 1, 2, 2,
1, 2, 1, 1, 2, 2, 0, 1, 2, 0, 1, 2])
1つ目のデータでテストしてみます。１が返ってきたら正解です。
テスト実施
import numpy as np test_data = np.array([[5.7, 2.9, 4.2, 1.3]]) prediction_test= neigh.predict(test_data)
テスト結果確認
print(prediction_test)
[1]
正しく学習しているようです。
では評価用データを使って評価してみます。
y_pred = neigh.predict(X_test)
判別結果です。
y_pred
array([1, 0, 2, 1, 1, 0, 1, 2, 1, 1, 2, 0, 0, 0, 0, 1, 2, 1, 1, 2, 0, 2,
0, 2, 2, 2, 2, 2, 0, 0, 0, 0, 1, 0, 0, 2, 1, 0, 0, 0, 2, 1, 1, 0,
0, 1, 1, 2, 1, 2])
正解ラベルは以下の通りです
y_test
array([1, 0, 2, 1, 1, 0, 1, 2, 1, 1, 2, 0, 0, 0, 0, 1, 2, 1, 1, 2, 0, 2,
0, 2, 2, 2, 2, 2, 0, 0, 0, 0, 1, 0, 0, 2, 1, 0, 0, 0, 2, 1, 1, 0,
0, 1, 2, 2, 1, 2])
47番目が１箇所だけ間違っています。ですが 49/50 = 0.98 98%の正解率です。
