Big Queryを使用した強力なBig Data処理システムを構築することができます。このBig Data処理システムはGoogleクラウド上に構築されることから、柔軟なスケーリング機能と可用性を有するシステムになっており、価格性能比も抜群です。
本セミナーではこのような機能を持つBig Data処理システムの構築方法を、実際に稼働しているコードサンプル・処理手順等に各々の特徴をピックアップしながら解説します。
- ビッグデータ概論
- ビッグデータとは
- ビッグデータの処理パターン
- BigQuery連携システム
- BigQuery連携システムの機能構成
- BigQueryとMapReduce
- BigQueryはなぜ速いのか
- カラム型データストア
- ツリーアーキテクチャ
- BigQuery連携システムの特徴
- データインプット/アウトプット
- 高速ビッグデータ処理エンジン
- ビッグデータの管理機能
- Big Data処理システムの利用価格
- BigQuery連携パターン1…デモンストレーションによる解説
- パターン1の概要
- パターン1のシステム構成
- パターン1の特徴
- サインアップ
- Googleアカウントの作成
- BigQuery用プロジェクトの作成
- データの作成と入力
- Excelデータを利用する
- センサからのExcelデータ入力
- TwitterデータのExcel収集
- CSVファイルをBigQueryにアップロードする
- データの検索と表示
- Web画面からクエリー文で検索・表示
- Excelを使用してクエリー検索・表示
- BigQuery連携パターン2
- パターン2の概要
- パターン2のシステム構成
- パターン2の特徴
- Eclipseを使用したApp Engine (Java) の開発環境作成
- Java開発キット (SDK) のインストール
- Eclipseのインストール 4.2.3 App Engine用プラグインのインストール
- データの作成と入力
- Datastoreにデータを書き込む
- Datastoreのデータを参照する
- データおよび環境の管理を行う
- App EngineのDatastoreデータをBigQueryにロードする
- DatastoreからCloud Storageにロードする
- Cloud StorageからBigQueryにロードする
- BigQuery連携パターン3
- パターン3の概要
- パターン3のシステム構成
- パターン3の特徴
- Googleドライブ概要
- Google Drive とは
- Google Driveを使用するには
- データの作成と入力
- ExcelをGoogle Driveにアップロードする
- スプレッドデータをApp Engineから読込み、Datastoreに書込む
- スプレッドデータをWeb画面から参照する