(無料) 非エンジニアが巨大データ分析でシゴデキする方法

投稿日: by Go
このエントリーをはてなブックマークに追加
Big CSV to pass

大きなCSVを見るシーン

エクセルでは開けないほど大きなCSVファイルを扱う必要がある——そんな場面に出くわしたことはありませんか？

たとえば、

  • 数十万〜百万行規模の売上データ

  • アンケート結果やログデータ

  • 業務システムから吐き出されたレポートCSV

・・・こういうデータをみて、ちょっと考察したい、分析したいといったケース 

企業の中で働いている人だと、とてもよくあるケースだと思います 📓

これらはどのくらいのファイルサイズなのか？　というと

たとえば

年間売上5億円の会社 で 販売単価が1万円くらいの会社

・・・であれば基本となる販売データだけで5万行あります

5年分だと25万行

これに商品の種類のデータや、値引きなどの各種施策のデータとの掛け合わせたりすると、あっという間に100万行以上の規模になるというわけです

当然 売上が、50億円・500億円…という大きなケースであれば

データも比例して増えていきます

それは一例にすぎませんが、企業の中で働いている人だと、数百万行のデータのデータ分析したいというのは割とよくあるケースだということですね

DB icon

データベースじゃなくてCSVファイル

ある程度の規模の会社になると、たいていIT部門とエンジニアがいて、エンジニアは日常的にデータベースにさわれる人だったりするので、

エンジニアであれば数百万行のデータを扱うことは普通のことです

IT部門の中でデータ分析するときは、そのためのデータベースをたてて作業しますよね

ただ、えてして、企業の中でデータ分析を一人称でやりたい人は、マーケティング部門だったり、プロダクト部門・営業部門・人事部門など・・・・

IT部門じゃないところにいたりします

そして、

そういう非IT部門向けのデータ分析用データベースがない、という会社も多くいることでしょう

そういったケースのときのアルアルが、IT部門がCSVだけくれる、というパターンです

IT部門エンジニア： 「データベースから500万行のCSVを引っこ抜いておきましたので、あとはお好きに分析どうぞ」

Engineer and marketer

といって渡してくれた巨大ファイルを見ながら「うーん・・・」って言っている

・・・こんな局面は結構あるんじゃないかなと思います。

こんなときどうすればいいか

できれば、慣れてるExcelで分析できたらいいんですが、残念ながらExcelは数万行を超えてくると（パソコンの性能にもよるでしょうが）動作が非常に遅くなりしんどいですよね

また、104万行を超えると通常の開き方では開けません

Excel Power Query (パワークエリー)という方法を使うと開くことはできますが、分析に時間がかかってしまう点は回避できず、動作の重さ、クラッシュのリスクがネックになってしまいます

だからといって、どこか知らないクラウド上にアップロードするのは、セキュリティ的にNGでしょうし

もちろんエンジニアみたく「じゃ、社内にデータベースたてときます」というのも自分にはハードルが高い

同様に、「TableauやPower BIなどのBIツールを導入しましょう」というのも、今後のプランの提案としてはいいけど、自分だけで今日明日の間にできることではない

今日中に分析したいのに困った…

やりたいのは、「ローカルPCだけで、大データを、スピーディーに扱いたいだけなのに！（もうちょっと行が少なければExcelでパパっとやっちゃうのに…！）」といったところでしょう

 

そこで今回はDBBrowser for SQLiteにとAI (Chat GPT、CoPilot、Gemini、Claude….チャット形式で相談できるAIならなんでも）によるアプローチをご紹介します

 

なぜDB Browser for SQLite なのか？

DB Browser fro SQLiteはSQLiteは超軽量のデータベースをGUI操作が付いているもので、以下の特長があります：

  • ✅ 完全ローカル：ネット接続もサーバも不要

  • ✅ 大容量OK：数十万〜数百万行でも軽快に動作

  • ✅ 無料かつ導入が簡単

以下全てマウスでの操作が可能です

  • データの取り込み（CSV → テーブル化）

  • 条件による抽出（検索フィルタ）

  • 編集や削除

  • 結果のエクスポート（再CSV化など）

最後に分析をするときだけSQLという言語を使いますが、これはAIのサポートで一瞬で解決できます

  • SQLを使った分析 → AIを使って解決

 

 

操作手順（DB Browser for SQLite の準備）

1. ツールのダウンロードとインストール

まずはダウンロードしましょう

※Windowsの方は「DB.Browser.for.SQLite-*.win64.exe」を選べばOKです

ここから先の画面イメージはMacのものでやっていきます

Download page of DB browser for SQLite
Download page 2 of DB browser for SQLite

 Homebrewは、ターミナルからコマンドラインでインストールする方法です

ここでは、インストーラー（Macだと .dmg のファイル）を使っていきます

dmgファイルを開くとこのような画面になるのでドラッグ＆ドロップでApplicationsにコピーします

 

アプリケーションフォルダでDB Browser for SQLiteをダブルクリックで開きます

 

 こういう画面がでる場合もあるかもしれませんが開きます
 DB Browser for SQLiteが開けました。日本語設定をしたい方は  DB Browser for SQLite → Preferences (設定) を開くと設定できます
 これで使用準備ができました

2. 新しいデータベースファイルを作成

 

ファイル→新しいデータベース を選びます
データベースの保存先を選びます

 

つづいてテーブル定義の画面になりますが、ここはいったんキャンセル
 

3. CSVファイルをテーブルとしてインポート

このあとCSVファイルをデータベース（テーブル）として扱えるようにするためにインポートをします
テーブルというのは表状態のデータのことです

ファイル→インポート→CSVファイルからテーブルへ

 

 

今回はサンプルとして２つのCSVファイルを用意しました
これはサンプルなので900行ですが、これの100倍以上のサイズのCSVでも動きます
  1. 販売明細データ
  2. 商品原価マスタ

販売明細データはPOSデータや売上管理システムに入っているデータのイメージで、中にはこんな列があります

  • SalesID（売上明細の通し番号）
  • SalesDate（売上日）
  • ProductID（売れた商品の商品ID）
  • Category（売れた商品のカテゴリー）
  • Gender（売れた商品がメンズかレディースか）
  • Size（売れた商品のサイズ）
  • SalesValue（売上金額）
商品原価マスタは、各商品の商品原価を管理しているマスタのイメージで、中にはこんな列があります
  • ProductID（商品ID）
  • ProductCost（その商品の原価金額）
完全に架空のサンプルですが、似たような例がよくあるものだとおもいます 
Excelでひらくとこんな感じのイメージです