Google BigQuery
注意点
外部BigQueryのリージョンについて
2021年5月現在、KARTE Datahub 側の Google BigQuery は US マルチリージョン に配置されています。
外部BigQuery のロケーションが US マルチリージョン または 東京リージョン(asia-northeast1)以外 の場合、本機能は利用できません。Google Cloud Storage 等を介して連携をするようにしてください。また、外部BigQuery のロケーションが 東京リージョン(asia-northeast1) の際の制約事項については、下記ドキュメントをご覧ください。
Datahub Direct Linkを使った連携
Datahub Direct Link (β版) を利用することで、KARTE Datahub に蓄積したデータと自社で契約する Google BigQuery(以下「外部BigQuery」と記す)に蓄積したデータを KARTE Datahub の管理画面上にユーザーインターフェイスレベルで統合し、シームレスなデータ活用を実現できます。
注意事項
本機能(Datahub Direct Link)は現在 β版 提供のため、今後仕様が変更される可能性があります。
ご利用を希望される場合は、サポートまでお問い合わせください。
KARTE Datahub から外部BigQuery側のデータセットを直接参照する
KARTE Datahub の [クエリ] 画面から、外部BigQueryのテーブルに対してクエリを実行することが可能です
- 参照したいデータセットをDatahubに登録します
- Datahubクエリを作成し、SELECT文のFROM句に外部BigQueryのテーブルを指定します
- 例
FROM project_id.dataset_id.table_id
project_id.dataset_id.table_id
の部分に特殊文字を含む場合は、バッククォート(`)で全体を囲んでください
- 例
外部BigQueryのテーブルを参照した際に消費されるクエリリソースについて
外部BigQueryのテーブルを参照した際に消費されるクエリリソースは、外部Googleサービスアカウントのクエリリソースを使ってクエリを実行する 場合を除いて、KARTE Datahub の月間使用クエリリソースの集計対象となります。
外部BigQueryからKARTE Datahub側のデータセットを直接参照する
外部GCP環境のサービスアカウント(以下「外部Googleサービスアカウント」と記す)に対して、KARTE Datahub のデータセットへの閲覧権限を付与することで、外部BigQuery環境からクエリを実行することが可能です。詳しくは下記ドキュメントをご覧ください
KARTE Datahub のジョブフローから外部BigQueryのテーブルを作成/更新する
KARTE Datahub の [ジョブフロー] から、外部BigQueryのテーブルを作成/更新することが可能です。
- 編集したいデータセットをDatahubに登録します
- [ジョブフロー] 画面から、次のようなジョブを作成、実行します
- [ジョブタイプ]
- 「データテーブルからエクスポート」
- [エクスポート元]
- エクスポートするデータを抽出するためのクエリを選択します
- [エクスポート先]
- 「外部サービス」
- [接続先]
- BigQuery用の接続先を作成、設定します
- [接続先名]
- 任意の名前を入力します
- [プロジェクトID]
- 更新したいテーブルが属するProject IDを入力します
- [データセットID]
- 更新したいテーブルが属するDataset IDを入力します
- [個別設定]
- [テーブルID]
- 作成/更新するテーブルのIDを入力します
- [書き込みタイプ]
- 以下から選択します
Write if empty
- テーブルが空の場合にのみ、クエリ結果をテーブルに書き込みます
Append to table
- クエリ結果を既存のテーブルに追加します
Overwrite table
- 既存のテーブルをクエリ結果で上書きします
- 以下から選択します
- [テーブルID]
- [ジョブタイプ]
Updated 11 months ago