外部サービスからKARTE Datahubに対してCSVファイル等を用いてデータ連携する場合、KARTEが払い出したGoogle Cloud Storageのバケットを利用することができます。

🚧

KARTEの払い出しGCSバケットは、GCSを簡易的に利用するための機能です

KARTEから払い出したGCSバケットについては、利用できる権限・機能・利用量が制限されており、Google Cloud Platformコンソール画面から操作することもできません。自由に使用したい場合は、直接ご契約ください。

GCSバケットにアクセス可能なサービスアカウントの払い出し手順

1. GCSバケットへの権限付与を有効化します
   • ナビゲーションの[データハブ設定]を開きます
   • [サービスアカウント管理]のタブを開きます
   • [GCSバケットへの権限付与済みGoogleサービスアカウント]の部分で、[権限付与]ボタンが表示されているか確認します
   • 有効化されていない場合は、チャットサポートにお問い合わせください
2. Googleサービスアカウントを払い出します
   • 払い出しGCSバケットへの権限付与をするGoogleサービスアカウントを払い出します
   • 次のドキュメントをご覧ください
     • データセットを参照できるGoogleサービスアカウントを払い出す
3. 払い出したサービスアカウントに対して、GCSの操作権限を付与します
   • [GCSバケットへの権限付与済みGoogleサービスアカウント]の領域で、[権限付与]ボタンを押します
   • プルダウンから、先ほど払い出したサービスアカウントを選択します

📘

付与されるCloud IAM権限

アカウントに付与されるCloud IAM上の権限は、次の通りです。

• storage.objectAdmin

これにより、オブジェクトの一覧表示、作成、表示、削除など、が可能になります。
詳細はGCSのドキュメントをご覧ください。

📘

払い出しGCSバケットのリージョン

2022年1月現在、払い出しGCSバケットのリージョンは、デフォルトではASIAマルチリージョンです。

参考: https://cloud.google.com/storage/docs/locations#location-mr

払い出しGCSとDatahubとの連携方法

払い出しGCSバケットに対して、Datahubジョブフローを使ってファイルのインポート/エクスポートを実行できます。

• こちらをご覧ください。

Google Cloud CLIからファイルを操作する(アップロード/ダウンロード)

KARTEから払い出したGCSバケットに対してファイルを操作する場合は、GCPの管理画面を利用することはできません。Google Cloud SDKに含まれるgsutilコマンド等を利用してください。

1. KARTE管理画面から、「KARTE Datahubが払い出したGoogleサービスアカウント」の作成
   • [データハブ設定] 画面 > [サービスアカウント管理] タブ > [払い出しGoogleサービスアカウント
     ] > [Googleサービスアカウント作成]
   • 認証ファイルをダウンロードします
2. gsutilコマンドを実行できるようにセットアップする
   • gsutil をインストールする
3. Google Cloud SDKでサービスアカウントのactivateをする
   • $ gcloud auth activate-service-account dp-{{account_id}}@prd-karte-service-account-2.iam.gserviceaccount.com --key-file ./credential.json
     • {{account_id}}の部分は、実際のアカウントIDに置き換えてください
     • ./credential.jsonの部分は、サービスアカウント払い出し時にダウンロードした認証ファイルのパスを指定します
4. gsutil cpコマンドを利用してローカルのファイルをGCSバケットにアップロードする
   • $ gsutil cp foo.csv gs://karte-data-{{api_key}}
     • {{api_key}}の部分は、実際のapi_keyに置き換えてください
5. gsutil cpコマンドを利用してGCSバケットのファイルをローカルにダウンロードする
   • $ gsutil cp gs://karte-data-{{api_key}}/foo.csv foo.csv
     • {{api_key}}の部分は、実際のapi_keyに置き換えてください

利用上の制限事項

以下の条件を満たす限りは、追加料金は発生しません。

各リソースの詳細については、GCSの公式ドキュメントを参照して下さい。

上限を超えた場合は、ファイル連携ができない可能性がありますのでご注意ください。