Google Cloud Storage

Google Cloud Storage(GCS)と双方向のデータ連携が可能です。

データ連携のパターン

  • 以下の連携が可能です
    • Datahubから直接インポートする
    • Datahubから直接エクスポートする

事前準備

Google Cloud Storageのコンソールから、KARTE側のGCPサービスアカウントに対して権限を付与してください。

KARTE Datahub側Googleサービスアカウントの確認方法

[Datahub設定] 画面 > [Googleサービスアカウント] タブ > [Googleサービスアカウント] > [メールアドレス]

必要な権限

  • インポート
    • storage.objects.get
  • エクスポート
    • storage.objects.create
    • 上書きをする場合は overwrite 権限をもつroleが必要です。

GCP側の権限に関する詳細は、こちらをご参照ください。

Datahubジョブ設定

インポート

  • バケット
    • 例: karte-bucket
  • ファイルパス
    • 完全一致で指定します
      • 例: foo/bar/baz.csv
    • gzip圧縮されたファイルもインポート可能です
    • ファイルパスに日付を付与したい場合、下記の記法を用いることで当日日付に変換されたファイルパスを指定可能です
      • {{YYYY}}: 4桁の西暦
      • {{MM}}: 2桁の月
      • {{DD}}: 2桁の日
      • 日付指定の例: foo/bar/baz_{{YYYY}}-{{MM}}-{{DD}}.csv
      • {{YYYYMMDD}}{{YYYY-MM-DD}}も利用可能です
      • デフォルトではJSTで変換されますが、{{YYYYMMDD, UTC}} のようにタイムゾーンを指定できます
  • プレフィクス
    • こちらを入力すると、合致する全てのファイルがインポート対象になります。
    • 例: karte-bucket の配下に karte1.csv karte2.csv karte3.csv のファイルがあった場合
      • プレフィクスをkarteとすると全てのファイルがインポートされます。
      • karte1karte1.csv では karte-bucket/karte1.csv のみが対象となります。
  • スキーマ
    • 以下のような形式で、各フィールドの型を指定してください
      • column_name1:type_name1,column_name2:type_name2,...
      • 例: user_id:STRING,age:INT64
    • 型名は、BigQueryの型名を指定してください

エクスポート

  • バケット
    • 例: karte-bucket
  • ファイルパス
    • 完全一致で指定します
      • 例: foo/bar/baz.csv
    • 出力ファイル名に日付を付与したい場合、下記の記法を用いることで出力時の当日日付に変換されたファイルパスを指定可能です
      • {{YYYY}}: 4桁の西暦
      • {{MM}}: 2桁の月
      • {{DD}}: 2桁の日
      • 日付指定の例: foo/bar/baz_{{YYYY}}-{{MM}}-{{DD}}.csv
      • {{YYYYMMDD}}{{YYYY-MM-DD}}のような記法には対応していません
  • 出力形式
    • 以下から選択します
      • CSV
        • デフォルト
      • JSON(改行区切り)

KARTEからGCSバケットを払い出す機能について

GCSの簡易的な利用のために、GCSバケットをKARTEのプロジェクトに対して払い出すことも可能です。詳しくはこちらをご覧ください。

Google Cloud Storage


Suggested Edits are limited on API Reference Pages

You can only suggest edits to Markdown body content, but not to the API spec.