SFTP
SFTP接続可能なサーバーと双方向のデータ連携が可能です。
データ連携のパターン
- 以下の連携が可能です
- Datahubから直接インポートする
- Datahubから直接エクスポートする
ファイルサイズ制限について
SFTP経由のデータインポートおよびエクスポートについては、パフォーマンスの関係で、以下のようにファイルサイズの制限があります。
- ファイルパスによるインポート...最大10GBまで (gzipの場合は圧縮後)
- プレフィクスによるインポート...各ファイル最大1GBまで
- エクスポート...クエリ結果のデータサイズが最大1GBまで
KARTE側IPアドレスの固定
SFTPサーバーとの連携については、KARTE側IPアドレスがある範囲内で固定されます。
詳しくは、「固定IPアドレスから外部サービスと連携する」をご覧ください。
Datahubジョブ設定
「接続先」
- ホスト
- 例:
127.0.0.1
またはtransfer.hogehoge.com
- 例:
- ポート
- デフォルトは
22
- デフォルトは
- ユーザ名
- パスワード
- 秘密鍵を使用しない場合は必須
- パスフレーズ
- 暗号化された秘密鍵を復号するために使用するパスフレーズ
- OpenSSH形式の認証を行う場合は必須
- 秘密鍵で認証を行う場合は必須
- 秘密鍵
- OpenSSH形式の認証を行う場合は必須
- 秘密鍵で認証を行う場合は必須
- Ed25519 形式は現在サポートしていません
OpenSSH形式の秘密鍵の例
-----BEGIN PRIVATE KEY----- AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA BBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBB CCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCC DDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDD EEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEE ZZZZZZZZZZZZZZZZZZZZZZ== -----END PRIVATE KEY-----
インポート
- [ファイルパス]
- 完全一致で指定します
- 例:
foo/bar/baz.csv
- 例:
- gzip圧縮されたファイルもインポート可能です
- ジョブ実行日時を使ったファイルパスの動的指定に対応しています
- 完全一致で指定します
- [プレフィクス]
- 前方一致で指定します
- こちらを入力すると、合致する全てのファイルがインポート対象になります
- 例:
karte-bucket
の配下にkarte1.csv
karte2.csv
karte3.csv
のファイルがあった場合- プレフィクスを
karte
とすると全てのファイルがインポートされます karte1
やkarte1.csv
ではkarte-bucket/karte1.csv
のみが対象となります
- プレフィクスを
- ジョブ実行日時を使ったプレフィックスの動的指定に対応しています
- 前方一致で指定します
- [区切り文字]
- 入力ファイルの区切り文字を以下から選択します
- カンマ
- タブ
- パイプ
- 入力ファイルの区切り文字を以下から選択します
- [フォーマット]
- 入力ファイルのフォーマットを以下から選択します
- CSV
- デフォルト
- JSON(改行区切り)
- CSV
- 入力ファイルのフォーマットを以下から選択します
- [スキーマ]
- 「データテーブルのスキーマを指定する」をご覧ください
- [スキーマ指定に失敗した場合、全て文字列として取り込む]
- スキーマ指定に失敗した場合、全て文字列として取り込む際はチェックを入れてください
エクスポート
- [ファイルパス]
- 完全一致で指定します
- 例:
foo/bar/baz.csv
- 例:
- ファイルパスに日時を付与したい場合、下記の記法を用いることで出力日次に変換されたファイルパスを指定可能です
- {{YYYY}}: 4桁の西暦
- {{MM}}: 2桁の月
- {{DD}}: 2桁の日
- {{HH}}: 2桁の時
- 日付指定の例: foo/bar/baz_{{YYYY}}-{{MM}}-{{DD}}-{{HH}}.csv
- {{YYYYMMDD}}や{{YYYY-MM-DD}}も利用可能です
- デフォルトではJSTで変換されますが、{{YYYYMMDD, UTC}} のようにタイムゾーンを指定できます
- 完全一致で指定します
- [出力形式]
- 出力ファイルの出力形式を以下から選択します
- CSV
- デフォルト
- JSON(改行区切り)
- CSV
- 出力ファイルの出力形式を以下から選択します
- [ヘッダー行を出力する]
- 出力ファイルにヘッダー行を出力する場合はチェックを入れてください
- [ファイル圧縮]
- 出力ファイルの圧縮有無を以下から選択します
- 圧縮なし
- デフォルト
- gzip
- 圧縮なし
- 出力ファイルの圧縮有無を以下から選択します
エクスポートされるファイルの形式
2022年7月現在、デフォルトでは次のような形式のファイルが出力されます。
- 文字コード
- BOM無しUTF-8
- 改行コード
- LF
- 囲み文字
- 無し
Updated 10 months ago