Azure Blob Storage

Azure Blob Storage(blob)と双方向のデータ連携が可能です。

データ連携のパターン

  • 以下の連携が可能です
    • Datahubから直接インポートする
    • Datahubから直接エクスポートする

❗️

ファイルサイズ制限について

パフォーマンスの関係で、Azure Blob Storage経由のデータインポートについては、1ジョブで最大2GBまで、データエクスポートについては1ジョブで最大1GBまでに制限されています。

Datahubジョブ設定

「接続先」

  • ストレージアカウント名
  • アカウントアクセスキー

インポート

  • コンテナ名
    • 例: karte-data-container
    • 登録されたストレージアカウント名、アカウントアクセスキーと紐付いたコンテナを指定します
  • ファイルパス
  • [プレフィクス]
    • 前方一致で指定します
      • こちらを入力すると、合致する全てのファイルがインポート対象になります
      • 例: karte-bucket の配下に karte1.csv karte2.csv karte3.csv のファイルがあった場合
        • プレフィクスをkarteとすると全てのファイルがインポートされます
        • karte1karte1.csv では karte-bucket/karte1.csv のみが対象となります
    • ジョブ実行日時を使ったプレフィックスの動的指定に対応しています
  • [フォーマット]
    • 入力ファイルのフォーマットを以下から選択します
      • CSV
        • デフォルト
      • JSON(改行区切り)
  • [スキーマ]
  • [スキーマ指定に失敗した場合、全て文字列として取り込む]
    • スキーマ指定に失敗した場合、全て文字列として取り込む際はチェックを入れてください

エクスポート

  • コンテナ名
    • 例: karte-data-container
    • 登録されたストレージアカウント名、アカウントアクセスキーと紐付いたコンテナを指定します
  • ファイルパス
    • 完全一致で指定します
      • 例: foo/bar/baz.csv
  • [出力形式]
    • 出力ファイルの出力形式を以下から選択します
      • CSV
        • デフォルト
      • JSON(改行区切り)