trocco(β版)
注意事項
本機能は現在β版提供のため、今後仕様が変更される場合があります。
ETLツール「trocco(トロッコ)」と双方向のデータ連携が可能です。
データ連携のパターン
- 以下の連携が可能です
- Datahubのデータをtroccoを介して外部サービスへ転送
- 外部のデータをtroccoを介してDatahubへ転送
注意点
- 連携サービス側の設定やプランによっては、意図した通りに連携できない可能性があります
- 必ず、事前に連携検証を実施してください
事前に必要な設定
DatahubとtroccoのデータのやりとりはGCSを介して実施するため以下の設定が必要なります。
払い出したGoogleサービスアカウントとGCSを利用してインポートする
- 「KARTEが払い出したGCSバケットを利用する」を参考に、KARTEが払い出したGCSバケット(以下「払い出しGCSバケット」と記す)に対するstorage.objectAdmin権限を保持したGoogleサービスアカウントの払い出しを受けます
- 払い出されたGoogleサービスアカウントのkeyfileを管理画面からダウンロードします
- [Datahub設定] -> [Googleサービスアカウント] -> [Google払い出しサービスアカウント]
- ダウンロードしたkeyfileをtrocco側で設定します
Datahub ->troccoへのデータ転送
trocco側で払い出しGCSバケットを元にKARTE Datahubの接続情報を作成してください。
全件更新の場合
Datahub側
- ジョブフローを用いて払い出しGCSバケットにデータ転送します
trocco側
- KARTE Datahubから外部サービスにデータ転送する設定を行い、実施してください
差分更新の場合
troccoの差分転送機能を利用します。
Datahub側
- ジョブフローを用いて払い出しGCSバケットにデータ転送します
trocco側
- 転送設定の転送元KARTE Datahubの設定で、転送方法を差分転送にしてください。初回はパスプレフィックスの設定に従い全件転送され、2回目より差分転送が実施されます。
- 外部サービスにて転送されたファイルと既存テーブルを用いて差分更新を実施してください
troccoの差分転送について
troccoの差分転送機能についてはこちら(外部サイト)をご覧ください。
trocco -> Datahubへのデータ転送
trocco側で払い出しGCSバケットを元にKARTE Datahubの接続情報を作成してください。
全件更新する場合
trocco側
- 外部サービスからKARTE Datahubにデータ転送する設定を行い、実行します
Datahub側
- 次の方法で、払い出しGCSバケットのデータを参照できるようにします
- GCS上のファイルを、既存のデータテーブルに対してジョブフローでインポートする
差分更新する場合
trocco側
- KARTE Datahubへデータ転送する際に、カスタム変数を用いて日付(%Y-%m-%d)付きのファイル名を設定してください
Datahub側
- ジョブフロー設定の[ファイルパス]で日付を加えたファイル名(
{{YYYY}}-{{MM}}-{{DD}}_hogehoge.csv
)を設定してください - Datahub側では転送されたファイルと既存テーブルを用いて差分更新を行います
- 詳しい手順は「既存データテーブルの一部のレコードを差分更新することはできますか?」をご確認ください
差分更新の際の注意点
データ転送(吐き出しと取り込み)は同一日付内に実施してください。日付が異なる場合データ転送が行えません。
Updated about 1 year ago