SFTP接続可能なサーバーと双方向のデータ連携が可能です。

データ連携のパターン

• 以下の連携が可能です
  • Datahubから直接インポートする
  • Datahubから直接エクスポートする

❗️

ファイルサイズ制限について

SFTP経由のデータインポートおよびエクスポートについては、パフォーマンスの関係で、1ジョブで最大1GBまでに制限されています。

📘

KARTE側IPアドレスの固定

SFTPサーバーとの連携については、KARTE側IPアドレスがある範囲内で固定されます。

詳しくは、「固定IPアドレスから外部サービスと連携する」をご覧ください。

Datahubジョブ設定

「接続先」

• ホスト
  • 例: 127.0.0.1
• ポート
  • デフォルトは 22
• ユーザ名
• パスワード
  • 秘密鍵を使用しない場合は必須
• パスフレーズ
  • 暗号化された秘密鍵を復号するために使用するパスフレーズ。
  • OpenSSH形式の認証を行う場合は必須
• 秘密鍵
  • OpenSSH形式の認証を行う場合は必須
  • Ed25519 形式は現在サポートしていません

📘

OpenSSH形式の秘密鍵の例

-----BEGIN PRIVATE KEY-----
AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA
BBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBB
CCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCC 
DDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDD
EEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEE
ZZZZZZZZZZZZZZZZZZZZZZ==
-----END PRIVATE KEY-----

インポート

• [ファイルパス]
  • 完全一致で指定します
    • 例: foo/bar/baz.csv
  • gzip圧縮されたファイルもインポート可能です
  • ファイルパスに日時を付与したい場合、下記の記法を用いることで出力日次に変換されたファイルパスを指定可能です
    • {{YYYY}}: 4桁の西暦
    • {{MM}}: 2桁の月
    • {{DD}}: 2桁の日
    • {{HH}}: 2桁の時
    • 日付指定の例: foo/bar/baz_{{YYYY}}-{{MM}}-{{DD}}-{{HH}}.csv
    • {{YYYYMMDD}}や{{YYYY-MM-DD}}も利用可能です
    • デフォルトではJSTで変換されますが、{{YYYYMMDD, UTC}} のようにタイムゾーンを指定できます
• [プレフィクス]
  • こちらを入力すると、合致する全てのファイルがインポート対象になります。
  • 例: karte-bucket の配下に karte1.csv karte2.csv karte3.csv のファイルがあった場合
    • プレフィクスをkarteとすると全てのファイルがインポートされます。
    • karte1 や karte1.csv では karte-bucket/karte1.csv のみが対象となります。
• [区切り文字]
  • 入力ファイルの区切り文字を以下から選択します
    • カンマ
    • タブ
    • パイプ
• [フォーマット]
  • 入力ファイルのフォーマットを以下から選択します
    • CSV
      • デフォルト
    • JSON（改行区切り）
• [スキーマ]
  • 「データテーブルのスキーマを指定する」をご覧ください
• [スキーマ指定に失敗した場合、全て文字列として取り込む]
  • スキーマ指定に失敗した場合、全て文字列として取り込む際はチェックを入れてください

エクスポート

• [ファイルパス]
  • 完全一致で指定します
    • 例: foo/bar/baz.csv
  • ファイルパスに日時を付与したい場合、下記の記法を用いることで出力日次に変換されたファイルパスを指定可能です
    • {{YYYY}}: 4桁の西暦
    • {{MM}}: 2桁の月
    • {{DD}}: 2桁の日
    • {{HH}}: 2桁の時
    • 日付指定の例: foo/bar/baz_{{YYYY}}-{{MM}}-{{DD}}-{{HH}}.csv
    • {{YYYYMMDD}}や{{YYYY-MM-DD}}も利用可能です
    • デフォルトではJSTで変換されますが、{{YYYYMMDD, UTC}} のようにタイムゾーンを指定できます
• [出力形式]
  • 出力ファイルの出力形式を以下から選択します
    • CSV
      • デフォルト
    • JSON（改行区切り）
• [ヘッダー行を出力する]
  • 出力ファイルにヘッダー行を出力する場合はチェックを入れてください
• [ファイル圧縮]
  • 出力ファイルの圧縮有無を以下から選択します
    • 圧縮なし
      • デフォルト
    • gzip