Manual 3

3章 PCA-MSPCのデータセット作成

「NEW DATASET」から、データセット名を入力し、新しいデータセットを作成します。

[表の説明]

Dataset Nameこのデータセットの名称
Dataset IDこのデータセットのID
Owner Nameこのデータセットを作成したユーザー名
Sample Imageこのデータセットの一番新しい登録画像を表示
Planこのデータセットの契約サービスプラン
Free: 無料
 Pay-per-use: 0.01USドル/回
Light: 400USドル/月
 Standard: 1,200USドル/月
Plan Setting Userこのデータセットのプランを変更したユーザー名
API Call StatusこのデータセットのAPI呼び出し状態
Available: API呼出し可能
Not available: API呼出し不可能
Restricted: API呼び出し不可能(一時停止中)
Training Dataこのデータセットに登録したトレーニング画像データ数
Test Dataこのデータセットに登録したテスト画像データ数
AI Model StatusこのデータセットのAIモデルの作成のステータス
No AI model exists:AIモデル未作成
Learning in progress:AIモデル作成中
AI model creation complete:AIモデル作成済
Test in progress:AIモデルのテスト中

3-1. AIモデルの作成と確認のための画像登録

「AI MODEL」タブから、トレーニングとテストに使用する正常/異常画像を登録します。

[画像登録ボタンの説明]

Normal Training imageこのデータセットのトレーニング用の正常画像の登録
Normal Test imageこのデータセットのテスト用の正常画像の登録
Anomalous Test imageこのデータセットのテスト用の異常画像の登録
Delete ALL Dataこのデータセットのすべての登録画像データの削除

[規定枚数]

 最小枚数最大枚数
Normal Train Image10枚Free:100枚
Basic:200枚
Standard:5000枚
Normal Test Image合計1枚
Abnormal Test Image

注1)高解像度の画像データは、AIモデル作成に時間がかかるため自動的に解像度が800px以下にリサイズされます。
注2)最大枚数を超えるアップロードはできません。
注3)一度に100枚を超える画像のアップロードはできません。

登録された画像はImgの画像アイコンから確認することができます。

3-2. 検査範囲の設定

もし、画像データに検査に不要な領域を含んでいたり、部分的に検査を行いたい場合には、検査箇所だけにトリミングした加工画像をユーザー自身で用意してアップロードをする方法と、ADFIサービス上で検査範囲の設定を行う方法の2つがあります。
ADFI上で検査範囲を指定することで、事前に画像加工を行う手間を省くことができます。

「INSPECTION RANGE SETTING」のタブを選択し、表示されたサンプル画像から検査範囲を選択します。この検査範囲は同じデータセット内にアップロードしたすべての画像に適用されます。

Clear Rangeこのデータセットの検査範囲の表示をデフォルトにリセットします
Save Inspection Rangeこのデータセットの選択した検査範囲を保存します

注1)検査範囲の座標は割合にて表示され、最小値0、最大値1になります。
注2)検査範囲の設定は、AIモデルの作成前に行うことができます。検査範囲の再設定を行いたいときはAIモデルを削除してから行ってください。

3-3. AIモデルの作成と再学習

規定最小枚数以上の画像データを登録したら、次にAIモデルの作成を行います。
「AI MODEL」タブの「Create AI Model」ボタンを選択してください。

Create AI Modelこのデータセットで登録された画像の検査範囲部分のAIモデルを作成します
Delete AI Modelこのデータセットで作成されたAIモデルを削除します
Re-trainingこのデータセットのAIモデルの再学習とテストをおこないます
Testこのデータセットで作成されたAIモデルを使用して、テストを行います

この時のAIモデル作成のステータス状態はDataset DetailのAI Model Statusで確認できます。

AIモデルの作成は10秒~30秒程度で完了します。

また、AIモデル作成後にトレーニング用の画像データの変更をし、学習結果に反映させたい場合は「 Re-Training 」で、AIモデルの再学習を行ってください。

3-4. AIモデルのテストと判定閾値設定

テスト用の正常/異常画像を使用して、AIモデルの学習結果の確認と、良品/不良品の判定閾値の設定を行います。

「AI MODEL」タブの「Test」ボタン、もしくは「TEST」タブの「Test」ボタンを選択します。

「AI Model Status」でテストの進捗状態を確認できます。

[TESTタブの表の説明]

Number of imagesこのデータセットの正常と異常画像を合わせたテスト画像の総数
Correct Answers(main)このデータセットのMain閾値の正解数(正常/異常を正しく判定した数)
Accuracy(main)このデータセットのMain閾値の正解率(正常/異常を正しく判定した割合)
Recall(main)このデータセットのMain閾値の再現率(異常画像に対して、異常を検出できた割合)
Precision(main)このデータセットのMain閾値の適合率(異常検出した画像のうち、本当に異常画像だった割合)
Correct answers(sub)このデータセットのSub閾値の正解数(正常/異常を正しく判定した数)
Accuracy(sub)このデータセットのSub閾値の正解率(正常/異常を正しく判定した割合)
Recall(sub)このデータセットのSub閾値の再現率(異常画像に対して、異常を検出できた割合)
Precision(sub)このデータセットのSub閾値の適合率(異常検出した画像のうち、本当に異常画像だった割合)

AIモデルのテスト後、16分割されたセルの判定閾値を設定していきます。
「AI MODEL SETTING」タブを選択すると、指定した検査範囲の画像が表示されます。
セルごとにTMとTSの2つの判定閾値を選択できます。
※TM: Threshold (main), TS: Threshold (sub)

2つの閾値を別の値に設定することで次のように使用することができます。
・TMの閾値を超える判定結果は「異常」と判断します。
・TMとTSの閾値の間の判定結果は「再検査」と判断します。(目視で再検査します。)
・TSの閾値を下回る判定結果は「正常」と判断します。

注1)TMとTSの値の大小は逆転しても問題ありません。
注2)TMとTSのデフォルト値は次に設定されています。TM:4 TS:2.5

次項で説明するテストの詳細結果や「AI MODEL SETTING」タブのヒストグラムを参考に各セルに閾値の数値を入力して、「Save Threshold」ボタンで設定してください。
「Set Auto Threshold」ボタンを選択すると、テスト結果から最適な閾値を設定します。
閾値を設定した後は、「Re-training」を必ず行ってください。設定した閾値を反映したAIモデルを再生成します。

[Test Result Histogramの説明]

Histogram of the entire imageこのデータセットのテスト結果のうち、各画像の最大異常スコア
Histogram of the selected cellこのデータセットのテスト結果のうち、選択したセルの異常スコア

各セルの閾値は異常画像のスコアよりも低く設定することで、再現率(異常画像に対して、異常を検出できた割合)が高くなりますが、適合率(異常検出した画像のうち、本当に異常画像だった割合)が低くなります。異常画像だとしても、選択セルに異常がない場合は正常画像のスコアと近しい値になるので、その異常画像のスコアよりも高い値に設定します。

また、「AI MODEL」タブのImgアイコンからテスト用の画像を開くと、閾値で判別した結果が色分けされて表示されます。

左:元画像 右:閾値判別結果

赤セル:main閾値を超えたセル 橙セル:sub閾値を超えたセル

3-5. テスト結果のダウンロード

TESTタブからTEST結果の詳細をcsv形式でダウンロードできます。

[TEST結果の表の説明]

idこのデータセットのテスト画像のid番号
nameこのデータセットのテストに使用した画像ファイル名
true_labelこのデータセットのテスト画像が正常か異常のどちらでアップロードをされたかという識別ラベル
0: 正常テスト画像
1: 異常テスト画像
anomaly_score (max_score_of_all_cells)テスト画像の全セルの最大異常スコア
prediction_label(main)TM閾値によるテスト画像の画像判定結果
0: 全セルの異常スコアがTM未満
1: 全セルの異常スコアがTM以上
prediction_label(sub)TS閾値によるテスト画像の画像判定結果
0: 全セルの異常スコアがTS未満
1: 全セルの異常スコアがTS以上
cell_0_score… cell_15_scoreテスト画像の各セルの異常スコア

各セルの番号は以下のように割り振られています。

次の章に進む