プレフィックスを動的に指定する

外部ストレージ上のプレフィックスを指定する場合、連携先サービスや連携パターンによっては、次のような動的プレフィックス指定に対応している場合があります。

対応している主な連携パターン

  • GCSバケットからのインポート/エクスポート
  • AWS S3バケットからのインポート/エクスポート
  • Azure Blobコンテナからのインポート/エクスポート
  • SFTPサーバーからのインポート/エクスポート

ジョブ実行日時を使った指定

  • ファイルパスに日時を付与したい場合、下記の記法を用いることで出力日次に変換されたプレフィックスを指定可能です
    • {{YYYY}}: 4桁の西暦
    • {{MM}}: 2桁の月
    • {{DD}}: 2桁の日
    • {{HH}}: 2桁の時
    • 日付指定の例: foo/{{YYYY}}{{MM}}/{{DD}}/baz{{HH}}.csv
  • {{YYYYMMDD}}や{{YYYY-MM-DD}}も利用可能です
  • デフォルトではJSTで変換されますが、{{YYYYMMDD, UTC}} のようにタイムゾーンを指定できます

プレフィックス指定の具体例

以下の様なプレフィックスを指定した場合、どの様な動作になるかを説明します。

  • 外部ストレージ上のファイルパスとして、 foo/bar/{{YYYY}}_{{MM}}_{{DD}}/hoge.csv を指定
  • 外部ファイルストレージに置かれているデータ
    • foo/bar/2025_01_01/hoge.csv
    • foo/bar/2025_01_01/fuga.csv
    • foo/bar/2025_01_02/hoge.csv
    • foo/bar/2025_01_02/fuga.csv

この場合、2025年1月1日のデータ連携時には処理対象のファイルは以下の様になります。

  • foo/bar/2025_01_01/hoge.csv のファイルが処理対象となる
  • 他のファイルは無視される