SFTP

Suggest Edits

SFTP接続可能なサーバーと双方向のデータ連携が可能です。

データ連携のパターン

  • 以下の連携が可能です
    • Datahubから直接インポートする
    • Datahubから直接エクスポートする

❗️

ファイルサイズ制限について

SFTP経由のデータインポートおよびエクスポートについては、パフォーマンスの関係で、以下のようにファイルサイズの制限があります。

  • ファイルパスによるインポート...最大10GBまで (gzipの場合は圧縮後)
  • プレフィクスによるインポート...各ファイル最大1GBまで
  • エクスポート...クエリ結果のデータサイズが最大1GBまで

📘

KARTE側IPアドレスの固定

SFTPサーバーとの連携については、KARTE側IPアドレスがある範囲内で固定されます。

詳しくは、「固定IPアドレスから外部サービスと連携する」をご覧ください。

Datahubジョブ設定

「接続先」

  • ホスト
    • 例: 127.0.0.1 または transfer.hogehoge.com
  • ポート
    • デフォルトは 22
  • ユーザ名
  • パスワード
    • 秘密鍵を使用しない場合は必須
  • パスフレーズ
    • 暗号化された秘密鍵を復号するために使用するパスフレーズ
    • OpenSSH形式の認証を行う場合は必須
    • 秘密鍵で認証を行う場合は必須
  • 秘密鍵
    • OpenSSH形式の認証を行う場合は必須
    • 秘密鍵で認証を行う場合は必須
    • Ed25519 形式は現在サポートしていません

📘

OpenSSH形式の秘密鍵の例

-----BEGIN PRIVATE KEY-----
AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA
BBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBB
CCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCC 
DDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDD
EEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEE
ZZZZZZZZZZZZZZZZZZZZZZ==
-----END PRIVATE KEY-----

インポート

  • [ファイルパス]
  • [プレフィクス]
    • 前方一致で指定します
      • こちらを入力すると、合致する全てのファイルがインポート対象になります
      • 例: karte-bucket の配下に karte1.csv karte2.csv karte3.csv のファイルがあった場合
        • プレフィクスをkarteとすると全てのファイルがインポートされます
        • karte1 や karte1.csv では karte-bucket/karte1.csv のみが対象となります
    • ジョブ実行日時を使ったプレフィックスの動的指定に対応しています
  • [区切り文字]
    • 入力ファイルの区切り文字を以下から選択します
      • カンマ
      • タブ
      • パイプ
  • [フォーマット]
    • 入力ファイルのフォーマットを以下から選択します
      • CSV
        • デフォルト
      • JSON（改行区切り）
  • [スキーマ]
  • [スキーマ指定に失敗した場合、全て文字列として取り込む]
    • スキーマ指定に失敗した場合、全て文字列として取り込む際はチェックを入れてください

エクスポート

  • [ファイルパス]
    • 完全一致で指定します
      • 例: foo/bar/baz.csv
    • ファイルパスに日時を付与したい場合、下記の記法を用いることで出力日次に変換されたファイルパスを指定可能です
      • {{YYYY}}: 4桁の西暦
      • {{MM}}: 2桁の月
      • {{DD}}: 2桁の日
      • {{HH}}: 2桁の時
      • 日付指定の例: foo/bar/baz_{{YYYY}}-{{MM}}-{{DD}}-{{HH}}.csv
      • {{YYYYMMDD}}や{{YYYY-MM-DD}}も利用可能です
      • デフォルトではJSTで変換されますが、{{YYYYMMDD, UTC}} のようにタイムゾーンを指定できます
  • [出力形式]
    • 出力ファイルの出力形式を以下から選択します
      • CSV
        • デフォルト
      • JSON（改行区切り）
  • [ヘッダー行を出力する]
    • 出力ファイルにヘッダー行を出力する場合はチェックを入れてください
  • [ファイル圧縮]
    • 出力ファイルの圧縮有無を以下から選択します
      • 圧縮なし
        • デフォルト
      • gzip

エクスポートされるファイルの形式

2022年7月現在、デフォルトでは次のような形式のファイルが出力されます。

  • 文字コード
    • BOM無しUTF-8
  • 改行コード
    • LF
  • 囲み文字
    • 無し

Updated about 1 month ago