Azure Blob Storage(blob)と双方向のデータ連携が可能です。

データ連携のパターン

• 以下の連携が可能です
  • Datahubから直接インポートする
  • Datahubから直接エクスポートする

❗️

ファイルサイズ制限について

パフォーマンスの関係で、Azure Blob Storage経由のデータインポートについては、1ジョブで最大2GBまで、データエクスポートについては1ジョブで最大1GBまでに制限されています。

Datahubジョブ設定

「接続先」

• ストレージアカウント名
  • 詳細
• アカウントアクセスキー
  • 詳細

インポート

• コンテナ名
  • 例: karte-data-container
  • 登録されたストレージアカウント名、アカウントアクセスキーと紐付いたコンテナを指定します
• ファイルパス
  • 完全一致で指定します
    • 例: foo/bar/baz.csv
  • ファイルパスに日時を付与したい場合、下記の記法を用いることで出力日次に変換されたファイルパスを指定可能です
    • {{YYYY}}: 4桁の西暦
    • {{MM}}: 2桁の月
    • {{DD}}: 2桁の日
    • {{HH}}: 2桁の時
    • 日付指定の例: foo/bar/baz_{{YYYY}}-{{MM}}-{{DD}}-{{HH}}.csv
    • {{YYYYMMDD}}や{{YYYY-MM-DD}}も利用可能です
    • デフォルトではJSTで変換されますが、{{YYYYMMDD, UTC}} のようにタイムゾーンを指定できます
• [プレフィクス]
  • こちらを入力すると、合致する全てのファイルがインポート対象になります。
  • 例: karte-bucket の配下に karte1.csv karte2.csv karte3.csv のファイルがあった場合
    • プレフィクスをkarteとすると全てのファイルがインポートされます。
    • karte1 や karte1.csv では karte-bucket/karte1.csv のみが対象となります。
• [フォーマット]
  • 入力ファイルのフォーマットを以下から選択します
    • CSV
      • デフォルト
    • JSON（改行区切り）
• [スキーマ]
  • 「データテーブルのスキーマを指定する」をご覧ください
• [スキーマ指定に失敗した場合、全て文字列として取り込む]
  • スキーマ指定に失敗した場合、全て文字列として取り込む際はチェックを入れてください

エクスポート

• コンテナ名
  • 例: karte-data-container
  • 登録されたストレージアカウント名、アカウントアクセスキーと紐付いたコンテナを指定します
• ファイルパス
  • 完全一致で指定します
    • 例: foo/bar/baz.csv
• [出力形式]
  • 出力ファイルの出力形式を以下から選択します
    • CSV
      • デフォルト
    • JSON（改行区切り）