第169回

データ分析基盤の構築ステップ｜設計の考え方とツールの選び方

売上の数字を出すために、毎月三日かけて各部門からファイルを集めている。集めたところで、部門ごとに定義が違って合計が合わない。データ活用を掲げていても、実際にはこの段階で止まっているケースは少なくありません。

データ分析基盤は、この状況を構造から変えるための仕組みです。ただし、道具を導入すれば解決するという類のものではありません。本記事では、基盤の構成要素と構築の進め方、そして実務でつまずきやすい箇所を整理します。

データ分析基盤とは

似た言葉にデータ基盤があります。厳密な区別は組織によって異なりますが、一般にデータ基盤のほうが広い概念で、業務システムが日々の処理で使うデータの土台までを含みます。一方のデータ分析基盤は、意思決定のためにデータを見ることに焦点を絞ったものと捉えると理解しやすいでしょう。

呼び方の違いにこだわる必要はありません。重要なのは、誰が何を判断するためにデータを見るのかという点です。データを集めること自体が目的になった基盤は、使われないまま終わりがちです。

データ分析基盤を構成する三つの層

検討は上から順に進めがちですが、実務では逆から考えたほうがうまくいきます。誰がどんな画面を見て何を決めるのかを先に決めれば、必要なデータも更新頻度も自ずと定まるためです。

なぜデータ分析基盤が必要になるのか

• ・月次の集計作業に、担当者が何日も手作業を費やしている
• ・同じ指標なのに、部門によって数字が違い、会議で照合作業が始まる
• ・分析したい観点があっても、データを揃えるだけで数週間かかるため断念している
• ・集計を担当している人が休むと、誰も同じ資料を作れない

とくに二つ目は根が深い問題です。売上という言葉ひとつをとっても、受注時点で計上するのか、出荷時点なのか、返品を差し引くのか。定義が統一されていない状態でシステムだけを導入しても、数字は合いません。

基盤の構築とは、技術的な作業である以上に、社内の言葉を揃える作業でもあります。ここを避けて進めると、後の工程で手戻りが生じやすくなります。

データ基盤と分析基盤という言葉の使い分け

データ基盤という言葉は、業務システムが日々の処理で使うデータの土台までを含めて指すことがあります。一方、データ分析基盤は、意思決定のためにデータを見ることに焦点を絞った仕組みです。前者のほうが範囲が広いと理解しておけば、大きく外れません。

加えて、データウェアハウスやデータレイクといった言葉も混じります。これらは分析基盤を構成する部品の名前であり、基盤そのものではありません。部品の名前と全体の名前を混ぜて議論すると、話がかみ合わなくなります。

用語の定義に時間をかけすぎる必要はありません。ただ、最初の会議でこの整理を一枚示しておくだけでも、以降の議論が進めやすくなります。

データ分析基盤の構築は小さく始めて広げる

最初に決めるのは、解きたい問いです。「営業所別の粗利率を月次で追いたい」といった具体的な形まで落とし込んでください。曖昧なままだと、必要なデータの範囲が決まらず、設計が発散します。

次に、その問いに答えるために必要なデータを特定します。多くの場合、必要なのは全システムのデータではなく、二つか三つのシステムに含まれる一部の項目です。ここを見極められると、初期の構築期間は大幅に短縮されます。

動く形ができたら、実際に使ってもらいます。使ってみて初めて「この切り口も見たい」という要望が出てきます。その要望を反映しながら対象を広げていく。この繰り返しが、使われる基盤づくりの近道になります。

指標の定義をそろえる作業の進め方

進め方は単純です。分析に使う指標を一覧にし、その一つずつについて、どのデータから、どういう条件で計算するのかを文章で書きます。書けない指標があれば、そこが定義の定まっていない部分です。

この作業は情報システム部門だけでは完結しません。売上の定義は営業部門と経理部門で異なることがあり、どちらが正しいという話でもありません。用途が違えば定義が違ってよいのです。重要なのは、どの定義を使っているかが明示されていることです。

四番目は見落とされがちです。締めの前と後で数字が変わる指標であれば、いま見ている数字がどちらなのかを画面上で示す必要があります。数字が変わること自体より、変わったと知らされないことのほうが問題になります。

蓄積層の選択肢と選定の基準

中小規模の企業であれば、まずデータウェアハウスから始める方法が堅実です。扱うデータの大半は基幹システムの数値であり、複雑な構成を先に用意しても持て余しやすくなります。

加えて、加工をどの段階で行うかという論点もあります。かつては取り込む前に整形する方式が主流でしたが、近年は生のまま取り込んでから基盤側で加工する方式が広く採られるようになりました。保管先の処理能力が向上し、後から加工の定義を変えられる柔軟さが評価されているためです。

既存のツールで足りるかを見極める

扱うデータが数万件までで、参照するシステムも二つか三つであれば、スプレッドシートで足りる場合があります。他システムから書き出したデータを取り込み、集計してグラフにする。この範囲であれば、専用の基盤を作る必要はありません。

基盤が必要になるのは、次のような状態に至ったときです。データ量が増えてスプレッドシートが重くなった、参照するシステムが増えて手作業の統合が追いつかない、複数の部門が同じデータを別々に加工している。いずれも規模の問題です。

背伸びした構成を選ぶと、運用する人が追いつかず、使われないまま終わることもあります。いま必要な規模より一段大きいところまでを見込んで選ぶくらいが、ちょうどよい加減です。

Google Cloudで構築する場合の代表的な構成

中心になるのがBigQueryです。サーバーの管理が不要で、大量のデータに対する集計を短時間で処理できます。課金は保管しているデータ量と、クエリで読み取ったデータ量に応じた従量制です。毎月10GBのストレージと1TBのクエリ処理までは無料枠が用意されているため、小規模な検証であれば費用をかけずに始められます。

可視化にはLooker Studioを組み合わせます。BigQueryのデータを直接参照してダッシュボードを作れるため、集計結果を貼り付ける作業が不要になります。スプレッドシートやGoogleフォームの回答とも接続できるため、既存の業務データを段階的に取り込めます。

サテライトオフィスでは、売上やPOS、決済、顧客、経理、社員の利用ログといった多様なデータを一元管理し、分析レポートを構築するソリューションを提供しています。同社からGoogle Workspaceを購入している企業であれば無償で利用でき、Google Cloudの支払い代行にも対応しています。詳しくはサテライトオフィスのBigQuery／Looker Studio分析ソリューションから詳細をご覧ください。

データ分析基盤の構築でつまずく典型的な原因

四番目の費用については、従量課金の仕組みを踏まえないまま、大きなデータを繰り返し読み込む処理を作ってしまう例が見られます。読み取り量を抑える設計を最初から意識しておきたいところです。

誰が基盤を運用するのかを先に決める

必要な役割は三つあります。データを運ぶ仕組みを作り、維持する役割。指標の定義を管理し、正しさに責任を持つ役割。そして、実際に数字を見て判断する役割です。中小規模の組織では一人が複数を兼ねることもありますが、誰が担うかは明確にしておくとよいでしょう。

とくに二番目が空席になりがちです。技術は情報システム部門が持ち、判断は事業部門が行う。その中間にある「この数字が何を意味するか」を管理する役割が、誰のものでもない状態になります。ここが空いていると、数字の食い違いを解消する人がいなくなります。

外部の支援を受ける場合も、この三つのうちどこを任せるのかを明確にしておくと安心です。構築だけを外部に頼み、運用の体制を用意しないまま引き渡しを受けると、数カ月後には誰も触れない仕組みになりかねません。

運用フェーズで必要になる仕組み

まず必要なのが、データが正しく届いているかを確認する仕組みです。連携が途中で止まっていても、ダッシュボードは何事もなかったように古い数字を表示し続けます。件数の異常や更新の停止を検知して通知する仕組みを、初期から組み込んでおくと安心です。

権限の管理も継続的な作業になります。人事異動のたびに個別へ権限を付け替えるのではなく、グループに対して権限を与え、メンバーの所属を変える運用にしておくと負担が減ります。Google Cloudでも同じ考え方が使えます。

加えて、使われていないダッシュボードの棚卸しも大切です。誰も見ていないレポートを維持し続けると、費用と管理工数の両方が負担になります。年に一度、利用状況を確認して整理する時期を設けておくとよいでしょう。

小さく作って広げる形でデータ分析基盤を動かしましょう

解きたい問いを一つ決め、必要なデータだけを集め、使ってもらいながら広げる。この順序で進めることで、途中で頓挫するリスクを抑えられます。完璧な設計を目指して着手が遅れると、社内の関心も薄れやすくなります。

サテライトオフィスはGoogle Cloudプレミアパートナーであり、スペシャライゼーション認定も受けています。Google Cloudの導入支援から伴走型の運用支援まで対応し、コアエンジニアチームによる技術支援を提供しています。日本円での請求書払いにも対応するため、契約面の制約で止まっている場合もご相談いただけます。

データ活用の第一歩をどこから始めるべきかお悩みでしたら、現在のデータ環境をお聞かせください。実現可能な範囲から具体的にご提案いたします。

サテライトオフィスのBigQuery／Looker Studio分析ソリューション

※プライバシーポリシはこちら