Azure Blob Storage
Azure Blob Storage(blob)と双方向のデータ連携が可能です。
データ連携のパターン
- 以下の連携が可能です
- Datahubから直接インポートする
- Datahubから直接エクスポートする
ファイルサイズ制限について
パフォーマンスの関係で、Azure Blob Storage経由のデータインポートについては、1ジョブで最大2GBまで、データエクスポートについては1ジョブで最大1GBまでに制限されています。
Datahubジョブ設定
「接続先」
インポート
- コンテナ名
- 例:
karte-data-container
- 登録されたストレージアカウント名、アカウントアクセスキーと紐付いたコンテナを指定します
- 例:
- ファイルパス
- 完全一致で指定します
- 例:
foo/bar/baz.csv
- 例:
- ファイルパスに日時を付与したい場合、下記の記法を用いることで出力日次に変換されたファイルパスを指定可能です
- {{YYYY}}: 4桁の西暦
- {{MM}}: 2桁の月
- {{DD}}: 2桁の日
- {{HH}}: 2桁の時
- 日付指定の例: foo/bar/baz_{{YYYY}}-{{MM}}-{{DD}}-{{HH}}.csv
- {{YYYYMMDD}}や{{YYYY-MM-DD}}も利用可能です
- デフォルトではJSTで変換されますが、{{YYYYMMDD, UTC}} のようにタイムゾーンを指定できます
- 完全一致で指定します
- [プレフィクス]
- こちらを入力すると、合致する全てのファイルがインポート対象になります。
- 例:
karte-bucket
の配下にkarte1.csv
karte2.csv
karte3.csv
のファイルがあった場合- プレフィクスを
karte
とすると全てのファイルがインポートされます。 karte1
やkarte1.csv
ではkarte-bucket/karte1.csv
のみが対象となります。
- プレフィクスを
- [フォーマット]
- 入力ファイルのフォーマットを以下から選択します
- CSV
- デフォルト
- JSON(改行区切り)
- CSV
- 入力ファイルのフォーマットを以下から選択します
- [スキーマ]
- 「データテーブルのスキーマを指定する」をご覧ください
- [スキーマ指定に失敗した場合、全て文字列として取り込む]
- スキーマ指定に失敗した場合、全て文字列として取り込む際はチェックを入れてください
エクスポート
- コンテナ名
- 例:
karte-data-container
- 登録されたストレージアカウント名、アカウントアクセスキーと紐付いたコンテナを指定します
- 例:
- ファイルパス
- 完全一致で指定します
- 例:
foo/bar/baz.csv
- 例:
- 完全一致で指定します
- [出力形式]
- 出力ファイルの出力形式を以下から選択します
- CSV
- デフォルト
- JSON(改行区切り)
- CSV
- 出力ファイルの出力形式を以下から選択します
Updated about 1 year ago