今から約19年前―2007年9月と10月、本ブログでは「Wekaを起動する（アソシエーション分析①・②）」を掲載しました。あるプロジェクトのデータを使って、数値を区分に変換し、Aprioriでルールを抽出する手順と、support、confidence、Liftの意味を説明した記事です。
＊データは、あるプロジェクトの概要で、参加企業数、予算、利益などが記載されているものです。
アソシエーション分析は、データの中から「この条件がそろうと、こちらの条件も成り立つことが多い」という組み合わせを探す方法。今回は利益だけを目的変数にするのではなく、要員、予算、企業数、関連国数、リーダー国、開発種別、開発期間、利益の間にどのようなルールがあるかを調べます、当時と同じ考え方です。
さて、ChatGPTには、以前の記事で使ったCSVファイルを添付し、アソシエーション分析を依頼しました。指定した条件も当時と同じで、Minimum supportは0.1、Minimum metricのconfidenceは0.8。
ただし、この二つの数値だけでは、分析条件はそろわないので以下のようにしました。
予算や利益を数値のまま扱うのか、どこで区切るのかによって抽出されるルールが変わるのを防ぐため、以前はWekaのDiscretizeを選択し、数値を名義尺度へ変換しましたが、今回は、数値6項目を等頻度で3区分にし、リーダー国と開発種別はそのまま使用。等頻度とは各区分の件数をなるべくそろえる方法だが、同じ値は分割しないため、完全に同数になるとは限りません。
結果は以下の通りです。
条件を満たすルールは7件得られました。表のNo1～5は2007年の記事に掲載したルールと同じで、前提に該当する件数と、そのうちルールが成立する件数も一致しました。＊今回は条件を満たす全件を掲載しています。
| No. | 抽出したルール | 成立件数／前提該当件数 | 支持度 | 信頼度 | リフト |
|---|---|---|---|---|---|
| 1 | 予算が高い・企業数が多い → 開発期間が中程度 | 7/8 | 11.86% | 87.50% | 2.58 |
| 2 | 企業数が多い・開発期間が中程度 → 予算が高い | 7/8 | 11.86% | 87.50% | 2.58 |
| 3 | 開発期間が中程度・利益が中程度 → 開発種別C | 6/7 | 10.17% | 85.71% | 2.11 |
| 4 | 関連国数が少ない・利益が中程度 → 企業数が少ない | 6/7 | 10.17% | 85.71% | 2.02 |
| 5 | 要員が多い・利益が中程度 → 企業数が少ない | 6/7 | 10.17% | 85.71% | 2.02 |
| 6 | 要員が多い・開発種別A → 企業数が少ない | 6/7 | 10.17% | 85.71% | 2.02 |
| 7 | 要員が中程度・企業数が多い → 関連国数が多い | 6/7 | 10.17% | 85.71% | 1.95 |
「企業数が多く、開発期間が中程度」のプロジェクトは8件あり（No2）、そのうち「予算が高い」ものは7件であった。過去のブログでも記載しましたが、「企業数が多く、開発期間が中程度であれば、予算が高い」のは、当たり前ルールなのですが、解析ではこのようにルールを抽出していきます。
＊この場合の信頼度は7÷8＝87.5％、支持度は全59件に対する割合なので7÷59＝約11.86％となる。Wekaの出力にあるconf:(0.88)は、この0.875を丸めた表示である。
supportとconfidenceの意味は、19年前と変わりません。confidenceは、前提に該当したデータの中で結論も成立した割合であり、「この説明が正しい確率」ではない。また、もともと頻出する項目はconfidenceが高くなりやすいので、全体での出現割合と比較するLiftも併せて見る必要があります。
今回変わったのは、そこへ至る作業です。以前は、Wekaを起動し、フィルタを選び、条件を設定し、出力を読むー今回は、ファイルを渡し、条件を伝え、計算結果を説明してもらうところまで会話で進められます。そのうえで「この8件は元データのどれか」「例外の1件にはどのような特徴があるか」「区分を変えると結果はどう変わるか」と、続けて掘り下げることもできます。＊もちろん、生成AIの説明が自然であることと、計算が正しいことは別に確認する必要があります。
ただし、計算を再現できても、実務でそのまま使えるとは限りません。今回のルールを支えるのは6～7件のデータであり、「企業数を増やせば予算が増える」という因果関係を示しているわけでもないので、実務へ持ち込むなら、業務上の説明がつくか、別のデータでも同じ傾向があるかを確認することになります。
Wekaを開発したワイカト大学の講座「More Data Mining with Weka」には、Association rulesとLearning association rulesの解説があります。YouTube上で解説されているのは英語なのですが、Gemini Notebook等を利用するなど、生成AIにより言語の壁のかなり低くなりました。
この解析が、このような会話で進められるということはー製造業では、常駐型の品質管理での予兆を知らせる解析に加えれば、よりパワフルなものになることが考えられます。
参考リンク
0 件のコメント:
コメントを投稿