Google BigQuery

Suggest Edits

Datahub Direct Link (β版) を利用することで、KARTE Datahub に蓄積したデータと自社で契約する Google BigQuery（以下「外部BigQuery」と記す）に蓄積したデータを KARTE Datahub の管理画面上にユーザーインターフェイスレベルで統合し、シームレスなデータ活用を実現できます。

❗️

注意事項

本機能（Datahub Direct Link）は現在 β版 提供のため、今後仕様が変更される可能性があります。
ご利用を希望される場合は、サポートまでお問い合わせください。

❗️

外部BigQueryのリージョンについて

2021年5月現在、KARTE Datahub 側の Google BigQuery は US マルチリージョン に配置されています。
外部BigQuery のロケーションが US マルチリージョン または 東京リージョン（asia-northeast1）以外 の場合、本機能は利用できません。Google Cloud Storage 等を介して連携をするようにしてください。

また、外部BigQuery のロケーションが 東京リージョン（asia-northeast1） の際の制約事項については、下記ドキュメントをご覧ください。

2179

事前準備

KARTE Datahub に外部BigQueryのデータセットを登録する

KARTE Datahub のデータセットを外部に共有する

  • 外部GCP環境のサービスアカウント（以下「外部Googleサービスアカウント」と記す）に対して、KARTE Datahub のデータセットへの閲覧権限を付与します
  • 詳しくは下記ドキュメントをご覧ください

利用方法

KARTE Datahub から外部BigQueryのテーブルを参照する

  • KARTE Datahub の [クエリ] 画面から、外部BigQueryのテーブルに対してクエリを実行することが可能です

  • 事前にKARTE Datahubの[ビルトインGoogleサービスアカウント]に対して、外部GCPコンソール上で BigQuery データ閲覧者 権限を付与する必要があります

  • 詳しくは下記ドキュメントをご覧ください

    • 参考: 外部BigQueryのデータセットを登録する
    • SELECT文のFROM句に、外部BigQueryのテーブルを指定してください
      • 例
        • FROM project_id.dataset_id.table_id
      • 特殊文字を含む場合は、バッククォート(`)で全体を囲んでください

📘

ビルトインGoogleサービスアカウントの確認方法

[データハブ設定] 画面 > [サービスアカウント管理] タブ > [ビルトインGoogleサービスアカウント]

📘

外部BigQueryのテーブルを参照した際に消費されるクエリリソースについて

外部BigQueryのテーブルを参照した際に消費されるクエリリソースは、外部Googleサービスアカウントのクエリリソースを使ってクエリを実行する 場合を除いて、KARTE Datahub の月間使用クエリリソースの集計対象となります。

KARTE Datahub のジョブフローから外部BigQueryのテーブルを作成/更新する

  • KARTE Datahub の [ジョブフロー] 画面から、外部BigQueryのテーブルを作成/更新することが可能です
  • 事前にKARTE Datahubの[ビルトインGoogleサービスアカウント]に対して、外部GCPコンソール上で BigQuery データ編集者 権限を付与する必要があります
  • 詳しくは下記ドキュメントをご覧ください
  • [ジョブフロー] 画面から、次のようなジョブを作成、実行します
    • [ジョブタイプ]
      • 「データテーブルからエクスポート」
    • [エクスポート元]
      • エクスポートするデータを抽出するためのクエリを選択します
    • [エクスポート先]
      • 「外部サービス」
    • [接続先]
      • BigQuery用の接続先を作成、設定します
      • [接続先名]
        • 任意の名前を入力します
      • [プロジェクトID]
        • 更新したいテーブルが属するProject IDを入力します
      • [データセットID]
        • 更新したいテーブルが属するDataset IDを入力します
    • [個別設定]
      • [テーブルID]
        • 作成/更新するテーブルのIDを入力します
      • [書き込みタイプ]
        • 以下から選択します
          • Write if empty
            • テーブルが空の場合にのみ、クエリ結果をテーブルに書き込みます
          • Append to table
            • クエリ結果を既存のテーブルに追加します
          • Overwrite table
            • 既存のテーブルをクエリ結果で上書きします

Updated 6 days ago