ビッグデータで再び注目のデータマイニング、今後の発展形は?

データサイエンティストはAIの一番の使い手になる必要があります。AIがあればデータサイエンティストやデータマイニングのスキルが不要というわけではありません。むしろAIの分析結果を高い次元で判定できる能力が求められます。その基本となるのがデータマイニングです。

「データマイニング」という言葉を知っている人は、マーケティング関係の人に限られているかもしれません。しかし「ビッグデータ」は多くの人がその概念ぐらいまでは認識しているのではないでしょうか。実はビッグデータを分析する技術の基本が、データマイニングでもあるのです。IoTやAIの時代、データマイニングのあり方や将来性について考えてみましょう。

データマイニングとは何か?

そもそも何を目的としてデータマイニングは生まれたのでしょうか。

本来の目的はマーケティング

その昔、大手のスーパーマーケットチェーンで販売データを「購入商品の組み合わせ」という観点で分析した結果がマーケッターの興味を引きました。「おむつを買った人はビールも一緒に買う傾向がある」という発見です。試しに2つの商品を一緒に並べたところ、ビールの売れ行きが上昇したのです。そのからくりは、父親がおむつの購入を頼まれ、マーケットのような場所に出掛けた際に、ついでにビールも買っていたからです。膨大なデータを分析することの意義としてデータマイニングが注目される事例となりました。

無関係に見える既存データ(POSやトランザクションデータ等)から、マーケティングの目的で購買パターンの分析や統計的な数値の解析などを行うのがデータマイニングです。一方、一般的なアンケート調査は、マーケティングの目的で、消費者をランダムに抽出しその意見や嗜好などをデータとしてあらたに収集するものです。アンケート調査に対して、データマイニングは既存のデータを直接分析して解を得るという、まったく新しい手法であると見ることができます。

マーケティングを含めたより広域な活用フィールドへ

コンピューターの演算速度の向上で大量のデータ処理が可能になりました。データさえ集まればそれを分析することでマーケティング以外にも活用範囲が広げられます。これが、統計学の知識とITスキルを併せ持つデータサイエンティスト (DS)が注目される背景です。

この動きを加速させようとしているのが、インターネット経由であらゆるモノから情報を集積するIoTです。将来的にデータサイエンティストの人材が不足するという懸念が生じている理由でもあります。

ビッグデータの注目

さて、ビッグデータとデータマイニングの関係はどうなのでしょう。

ビッグデータとデータマイニングの関係

既存のデータ、IoTで集められる新しいデータもすべてビッグデータとして解析の対象となります。身近な活用例としては、カード利用の不正検出があります。盗難や横領されたクレジットカードは、これまでの利用と違う支出の動きを示します。その動きをデータの管理と分析から見つけ出そうというものです。

今後はIoTの普及で、家庭の電化製品から都市のインフラまで、あらゆるデータが集められます。それらは監視や制御、故障の予測、稼働の最適化まで幅広く活用されるようになると見られています。例えば、店舗の監視カメラのデータから分かる来店中の顧客の行動と、顧客の購買データを合わせて分析することで、販売に効果的な陳列を割り出すことができるかもしれません。さらに店舗の地域や来店時間、天候、チラシ配布の有無などとの関連性を分析することで、マーケティング施策がより効果的で効率的になることが期待できます。

データとその分析価値の高まり、将来は必須に

世の中の事象の多くは、データをリアルタイムに収集することで把握できます。過去のデータの推移から将来を予測し、その結果から事前措置や対策も講ずることができるようになるわけです。その技術と技術者の確保が会社の将来の発展性を左右することになりかねません。

AIの普及とデータサイエンティストの役割

IoTの普及でデータが増える一方では、それを分析するデータサイエンティストが不足することとなります。そのため、コンピューター処理の速度が求められるのはもちろんです。さらに人を支援する意味で、膨大なデータを自動的に分析でき、それらの学習結果からさらに分析能力を高められるAIは、なくてはならない存在になります。これにより、膨大なデータ分析が早く確実になるだけではなく、人間の思考を超えたところのデータパターンの発見も可能になるでしょう。

しかし、膨大なデータの高度な分析処理ができるAIがあれば、データを見る専門家が不要かというと、むしろ逆です。統計とITのスキルを持ったデータサイエンティストがAIを管理し、より次元の高い分析結果を目指すことになるでしょう。

データマイニングという概念とスキルはより重要に

データマイニングという言葉が一時期ほど聞かれなくなりました。しかし需要や重要性はむしろ高まっているといえるでしょう。データマイニングという考え方が IoTやビッグデータの用途等の拡大、AIによる分析とその判定などと密接に関わるようになってきています。そのため、基礎力としてのデータマイニングスキルは今後も重要で、さらに高まっていくことが予想できます。

データを誰もが扱える組織が理想

IoTやAI技術を使ったデータの収集と分析は、例えば人事の選考データにも活用されるようになってきました。企業の管理部門でもデータに基いた管理や人事査定が求められる時代です。ましてや企業の舵(かじ)取りをする経営企画部門では、月々の売り上げと利益の結果を追うだけでは不十分です。遠回りのようですが、市場の客観データ、社内の関連データ、生産ラインや社員の生産性を示すデータなどを駆使して経営方針を決める方が、実は確実で安全なのです。

幸い、企業経営のデータ分析では、BIツールのおかげでビジネスの生きたデータ分析が容易にできるようになりました。さらにクラウドで目的に応じた仕様とスタイルの調達や変更が可能です。SAP Analytics Cloudは、そのような分析ツールがパッケージ化されています。データ分析は技術部門に限らず、経営層にもその必要性が訪れていることを、ここであらためて認識しておきましょう。