Google BigQuery
Datahub Direct Link (β版) を利用することで、KARTE Datahub に蓄積したデータと自社で契約する Google BigQuery(以下「外部BigQuery」と記す)に蓄積したデータを KARTE Datahub の管理画面上にユーザーインターフェイスレベルで統合し、シームレスなデータ活用を実現できます。
注意事項
本機能(Datahub Direct Link)は現在 β版 提供のため、今後仕様が変更される可能性があります。
ご利用を希望される場合は、サポートまでお問い合わせください。
外部BigQueryのリージョンについて
2021年5月現在、KARTE Datahub 側の Google BigQuery は US マルチリージョン に配置されています。
外部BigQuery のロケーションが US マルチリージョン または 東京リージョン(asia-northeast1)以外 の場合、本機能は利用できません。Google Cloud Storage 等を介して連携をするようにしてください。また、外部BigQuery のロケーションが 東京リージョン(asia-northeast1) の際の制約事項については、下記ドキュメントをご覧ください。

事前準備
KARTE Datahub に外部BigQueryのデータセットを登録する
- KARTE Datahub のデータセット画面に、外部BigQueryのデータセットを登録します
- 詳しくは下記ドキュメントをご覧ください
KARTE Datahub のデータセットを外部に共有する
- 外部GCP環境のサービスアカウント(以下「外部Googleサービスアカウント」と記す)に対して、KARTE Datahub のデータセットへの閲覧権限を付与します
- 詳しくは下記ドキュメントをご覧ください
利用方法
KARTE Datahub から外部BigQueryのテーブルを参照する
-
KARTE Datahub の [クエリ] 画面から、外部BigQueryのテーブルに対してクエリを実行することが可能です
-
事前にKARTE Datahubの[ビルトインGoogleサービスアカウント]に対して、外部GCPコンソール上で
BigQuery データ閲覧者
権限を付与する必要があります -
詳しくは下記ドキュメントをご覧ください
- 参考: 外部BigQueryのデータセットを登録する
- SELECT文のFROM句に、外部BigQueryのテーブルを指定してください
- 例
FROM project_id.dataset_id.table_id
- 特殊文字を含む場合は、バッククォート(`)で全体を囲んでください
- 例
ビルトインGoogleサービスアカウントの確認方法
[データハブ設定] 画面 > [サービスアカウント管理] タブ > [ビルトインGoogleサービスアカウント]
外部BigQueryのテーブルを参照した際に消費されるクエリリソースについて
外部BigQueryのテーブルを参照した際に消費されるクエリリソースは、外部Googleサービスアカウントのクエリリソースを使ってクエリを実行する 場合を除いて、KARTE Datahub の月間使用クエリリソースの集計対象となります。
KARTE Datahub のジョブフローから外部BigQueryのテーブルを作成/更新する
- KARTE Datahub の [ジョブフロー] 画面から、外部BigQueryのテーブルを作成/更新することが可能です
- 事前にKARTE Datahubの[ビルトインGoogleサービスアカウント]に対して、外部GCPコンソール上で
BigQuery データ編集者
権限を付与する必要があります - 詳しくは下記ドキュメントをご覧ください
- [ジョブフロー] 画面から、次のようなジョブを作成、実行します
- [ジョブタイプ]
- 「データテーブルからエクスポート」
- [エクスポート元]
- エクスポートするデータを抽出するためのクエリを選択します
- [エクスポート先]
- 「外部サービス」
- [接続先]
- BigQuery用の接続先を作成、設定します
- [接続先名]
- 任意の名前を入力します
- [プロジェクトID]
- 更新したいテーブルが属するProject IDを入力します
- [データセットID]
- 更新したいテーブルが属するDataset IDを入力します
- [個別設定]
- [テーブルID]
- 作成/更新するテーブルのIDを入力します
- [書き込みタイプ]
- 以下から選択します
Write if empty
- テーブルが空の場合にのみ、クエリ結果をテーブルに書き込みます
Append to table
- クエリ結果を既存のテーブルに追加します
Overwrite table
- 既存のテーブルをクエリ結果で上書きします
- 以下から選択します
- [テーブルID]
- [ジョブタイプ]
Updated 6 days ago