Google BigQuery

Datahubを使うことで、外部のBigQuery環境との間で双方向のクエリ参照などシームレスな連携が可能になります。

❗️

外部BigQueryのリージョンについて

2020年10月現在、Datahub側のBigQueryはUSマルチリージョンに配置されています。
外部BigQueryのDatasetが別のリージョンに存在する場合、Datahubから外部Datasetへのクエリ実行や、外部Datasetへのデータ書き込みはできません。
Google Cloud Storage等を介して連携をするようにしてください。

Datahubの外部BigQuery連携機能

外部BigQueryとの連携には、Datahubが必要になります。

Datahubから外部BigQueryのデータを利用する

外部BigQuery内にあるデータセットをDatahubから利用するための機能を紹介します。

Datahubに外部BigQueryのデータセットを登録する

Datahubクエリから外部BigQueryのデータセットを参照する

  • クエリ作成画面から、連携先のBigQuery Projectに存在するテーブルに対するクエリを記述することが可能です
    • SELECT文のFROM句に、外部BigQueryのテーブルを指定してください
        • FROM project_id.dataset_id.table_id
      • 特殊文字を含む場合は、バッククォート(`)で全体を囲んでください
  • 事前に、Datahub設定画面で確認できるDatahubサービスアカウントに対して、部GCPコンソール上でBigQuery データ閲覧者権限を付与する必要があります

外部BigQueryでDatahubのデータを利用する

Datahub内にあるデータセットを、外部BigQueryから利用するための機能を紹介します。

外部BigQueryのサービスアカウントからDatahubのデータセットを参照する

  • 外部BigQueryのクエリ実行に利用しているサービスアカウントに対して、Datahub側データセットの参照権限を付与することができます
  • 詳しくは下記ドキュメントをご覧ください

Datahubジョブフローで外部BigQuery環境のテーブルを作成/更新する

  • 事前に、Datahub設定画面で確認できるDatahubサービスアカウントに対して、外部GCPコンソール上でBigQuery データ編集者権限を付与する必要があります
  • ジョブフロー作成画面から、次のようなジョブを作成、実行します
    • [ジョブタイプ]
      • 「データテーブルからエクスポート」
    • [エクスポート元]
      • エクスポートするデータを抽出するためのクエリを選択します
    • [エクスポート先]
      • 「外部サービス」
    • [接続先]
      • BigQuery用の接続先を作成、設定します
      • [接続先名]
        • 任意の名前を入力します
      • [プロジェクトID]
        • 更新したいテーブルが属するBigQuery Project IDを入力します
      • [データセットID]
        • 更新したいテーブルが属するBigQuery Dataset IDを入力します
    • [個別設定]
      • [テーブルID]
        • 作成/更新するテーブルのIDを入力します
      • [書き込みタイプ]
        • 以下から選択します
          • Write if empty
          • Append to table
          • Overwrite table

外部BigQueryのサービスアカウントをDatahubで利用する

Updated 3 months ago

Google BigQuery


Suggested Edits are limited on API Reference Pages

You can only suggest edits to Markdown body content, but not to the API spec.