外部サービスからKARTE Datahubに対してCSVファイル等を用いてデータ連携する場合、KARTEが払い出したGoogle Cloud Storageのバケットを利用することができます。

🚧

KARTEの払い出しGCSバケットは、GCSを簡易的に利用するための機能です

KARTEから払い出したGCSバケットについては、利用できる権限・機能・利用量が制限されており、Google Cloud Platformコンソール画面から操作することもできません。自由に使用したい場合は、直接ご契約ください。

GCSバケットにアクセス可能なサービスアカウントの払い出し手順

1. GCSバケットへの権限付与を有効化します
   • ナビゲーションの[データハブ設定]を開きます
   • [サービスアカウント管理]のタブを開きます
   • [GCSバケットへの権限付与済みGoogleサービスアカウント]の部分で、[権限付与]ボタンが表示されているか確認します
   • 有効化されていない場合は、チャットサポートにお問い合わせください
2. Googleサービスアカウントを払い出します
   • 払い出しGCSバケットへの権限付与をするGoogleサービスアカウントを払い出します
   • 次のドキュメントをご覧ください
     • データセットを参照できるGoogleサービスアカウントを払い出す
3. 払い出したサービスアカウントに対して、GCSの操作権限を付与します
   • [GCSバケットへの権限付与済みGoogleサービスアカウント]の領域で、[権限付与]ボタンを押します
   • プルダウンから、先ほど払い出したサービスアカウントを選択します

📘

付与されるCloud IAM権限

アカウントに付与されるCloud IAM上の権限は、次の通りです。

• storage.objectAdmin

これにより、オブジェクトの一覧表示、作成、表示、削除など、が可能になります。
詳細はGCSのドキュメントをご覧ください。

払い出されるGCSバケットについて

GCSバケットが払い出されると以下の2つバケットが利用可能となります。

• karte-data-{{api_key}}-us
  • バケットのロケーションは、usとなります
• karte-data-{{api_key}}
  • バケットのロケーションは、asia-east1となります

払い出しGCSとDatahubとの連携方法

払い出しGCSバケットに対して、Datahubジョブフローを使ってファイルのインポート/エクスポートを実行できます。

• こちらをご覧ください。

Google Cloud CLIからファイルを操作する(アップロード/ダウンロード)

KARTEから払い出したGCSバケットに対してファイルを操作する場合は、GCPの管理画面を利用することはできません。Google Cloud SDKに含まれるgsutilコマンド等を利用してください。

1. KARTE管理画面から、「KARTE Datahubが払い出したGoogleサービスアカウント」の作成
   • [データハブ設定] 画面 > [サービスアカウント管理] タブ > [**払い出しGoogleサービスアカウント
     **] > [Googleサービスアカウント作成]
   • 認証ファイルをダウンロードします
2. gsutilコマンドを実行できるようにセットアップする
   • gsutil をインストールする
3. Google Cloud SDKでサービスアカウントのactivateをする
   • $ gcloud auth activate-service-account dp-{{account_id}}@prd-karte-service-account-2.iam.gserviceaccount.com --key-file ./credential.json
     • {{account_id}}の部分は、実際のアカウントIDに置き換えてください
     • ./credential.jsonの部分は、サービスアカウント払い出し時にダウンロードした認証ファイルのパスを指定します
4. gsutil cpコマンドを利用してローカルのファイルをGCSバケットにアップロードする
   • $ gsutil cp foo.csv gs://karte-data-{{api_key}}
     • {{api_key}}の部分は、実際のapi_keyに置き換えてください
5. gsutil cpコマンドを利用してGCSバケットのファイルをローカルにダウンロードする
   • $ gsutil cp gs://karte-data-{{api_key}}/foo.csv foo.csv
     • {{api_key}}の部分は、実際のapi_keyに置き換えてください

ライフサイクル機能について

払い出しGCSバケットのオブジェクトに対してライフサイクルを設定することが可能です。 ライフサイクルで設定した日数を経過したファイルを自動で削除することができます。

設定方法

1. 対象バケットに対して、「権限付与」をしてください
2. ライフサイクルを設定してください

• 0日の場合、ライフサイクルの設定は削除されます(ライフサイクルは動作しません)
• 1日以上の場合、オブジェクトの作成日時から設定された日数経過後にオブジェクトは削除されます

3. 「更新」ボタンをクリックして設定を反映してください

ライフサイクル機能の注意事項

• オブジェクトの作成日時は、オブジェクトがバケットに正常に書き込まれた日時です
• 2025/01/10 10:00 JST にリソースが作成され、ライフサイクルが 10 日の場合、2025/01/20 10:00 JST 以降に削除されます
• 基本的に削除されたファイルは復元することはできません

利用上の制限事項

以下の条件を満たす限りは、追加料金は発生しません。

各リソースの詳細については、GCSの公式ドキュメントを参照して下さい。

上限を超えた場合は、ファイル連携ができない可能性がありますのでご注意ください。