東京リージョンのデータセットを利用する（β版）

Suggest Edits

東京リージョン（以下「asia-northeast1」と記す）の利用オプションを有効化することで、データセットの保存先として日本国内のサーバを指定したり、日本国内に保存されたデータセットに対してクエリの実行や、ジョブフローによるデータの加工処理が行えるようになります。

具体的には、KARTE Datahub の内部で利用している Google BigQuery（以下「BigQuery」と記す） のデータセットの保存先や、クエリの実行ロケーションとして、asia-northeast1 を利用できるようになります。

❗️

注意事項

本機能は現在 β版 提供のため、今後仕様が変更される場合があります。
利用を希望される場合は、サポートまでお問い合わせください。

🚧

デフォルトデータセットのロケーション

karte_eventテーブルなどKARTE Datahub がデフォルトで提供するデータセットのロケーションは、US マルチリージョン です。本オプションを利用しても、それらのデータセットのロケーションをasia-northeast1に変更することはできません。 asia-northeast1 のデータセットと組み合わせ利用するためには、以下に記載する通り、ジョブフローと組み合わせてデータのロケーションの移動が必要になります。

利用方法

1. データセットを準備する

  • [データセット] 画面の [作成] ボタン > [データセットを作成] から、BigQueryのデータセットを新規作成できます
  • データセットを新規作成する際に、ロケーションは asia-northeast1 を選択してください
    • 既存のデータセットのロケーションを変更することはできません。新しいロケーションを利用する場合は、データセットを新規に作成する必要があります
    • ロケーションはデータセット単位で指定可能で、配下のテーブルはデータセットで指定されたロケーションに保存されます
  • 外部のデータセットとして、 asia-northeast1 のロケーションにある既存の BigQuery のデータセットを登録することもできます

2. クエリを実行する

  • KARTE Datahub で実行されるクエリのデフォルトロケーションは US マルチリージョン のため、asia-northeast1 にあるデータセットに対してクエリを実行するためには、クエリの実行されるロケーションを変更する必要があります
    • クエリの実行されるロケーションと同じロケーションにあるデータセットのみ、クエリ内で参照できます
    • そのため、US にあるデータセットと、 asia-northeast1 にあるデータセットに対して同時にクエリを実行することはできません
  • クエリの実行されるロケーションは、クエリの保存されているフォルダの [･･･] メニューの [クエリ実行オプション] から指定することができます
    • 未保存のクエリや、フォルダに所属していないクエリは、デフォルトロケーションの US で実行されます
  • クエリの実行結果を異なるロケーションにあるデータセットに保存するためには、次項に記載するジョブフローの利用が必要になります
    • クエリの実行結果を「テーブルに書き出し」するためには、クエリの実行されたロケーションと、書き出し先のテーブルの所属するデータセットのロケーションが同一である必要があります

3. ジョブフローでクエリの実行結果を異なるロケーションに出力する

  • ジョブフローを利用することで、クエリの実行されたロケーションとは異なるロケーションのデータセットに、クエリの実行結果を出力することができます
  • ジョブフローでは、クエリの実行されるロケーションと、出力先に指定されているデータセットのロケーションを元に、内部の処理を自動的に切り替えるため、原則として入出力のロケーションの違いによって設定項目を変更する必要はありません
    • 例えば、「データテーブルへのインポート」で、インポート元として asia-northeast1 で実行されるクエリを選択し、インポート先としてUSにあるデータセットを指定することができます
    • 例外として、一部の外部サービスとの連携時に利用可能なロケーションに制約がある場合があります。詳細は以下に記載の制約に関する項目をご確認ください

🚧

外部サービス Google Cloud Storage との連携時の制約

Google Cloud Storage とのインポート・エクスポートについては、BigQuery の仕様に起因し、クエリの実行されるロケーションと、インポート・エクスポートに利用できる Cloud Storageバケットのロケーションの組み合わせに制限が発生します。
詳細については、公式ドキュメント（インポートの制約、エクスポートの制約）をご確認ください。

Updated about 2 months ago