trocco（β版）

Suggest Edits

❗️

注意事項

本機能は現在β版提供のため、今後仕様が変更される場合があります。

ETLツール「trocco（トロッコ）」と双方向のデータ連携が可能です。

データ連携のパターン

  • 以下の連携が可能です
    • Datahubのデータをtroccoを介して外部サービスへ転送
    • 外部のデータをtroccoを介してDatahubへ転送

注意点

  • 連携サービス側の設定やプランによっては、意図した通りに連携できない可能性があります
  • 必ず、事前に連携検証を実施してください

事前に必要な設定

DatahubとtroccoのデータのやりとりはGCSを介して実施するため以下の設定が必要なります。

払い出したGoogleサービスアカウントとGCSを利用してインポートする

  1. 「KARTEが払い出したGCSバケットを利用する」を参考に、KARTEが払い出したGCSバケット（以下「払い出しGCSバケット」と記す）に対するstorage.objectAdmin権限を保持したGoogleサービスアカウントの払い出しを受けます
  2. 払い出されたGoogleサービスアカウントのkeyfileを管理画面からダウンロードします
  • [Datahub設定] -> [Googleサービスアカウント] -> [Google払い出しサービスアカウント]
  1. ダウンロードしたkeyfileをtrocco側で設定します

Datahub ->troccoへのデータ転送

trocco側で払い出しGCSバケットを元にKARTE Datahubの接続情報を作成してください。

全件更新の場合

Datahub側

  • ジョブフローを用いて払い出しGCSバケットにデータ転送します

trocco側

  • KARTE Datahubから外部サービスにデータ転送する設定を行い、実施してください

差分更新の場合

troccoの差分転送機能を利用します。

Datahub側

  • ジョブフローを用いて払い出しGCSバケットにデータ転送します

trocco側

  • 転送設定の転送元KARTE Datahubの設定で、転送方法を差分転送にしてください。初回はパスプレフィックスの設定に従い全件転送され、２回目より差分転送が実施されます。
  • 外部サービスにて転送されたファイルと既存テーブルを用いて差分更新を実施してください

📘

troccoの差分転送について

troccoの差分転送機能についてはこちら(外部サイト)をご覧ください。

trocco -> Datahubへのデータ転送

trocco側で払い出しGCSバケットを元にKARTE Datahubの接続情報を作成してください。

全件更新する場合

trocco側

  • 外部サービスからKARTE Datahubにデータ転送する設定を行い、実行します

Datahub側

  • 次の方法で、払い出しGCSバケットのデータを参照できるようにします
    • GCS上のファイルを、既存のデータテーブルに対してジョブフローでインポートする

差分更新する場合

trocco側

  • KARTE Datahubへデータ転送する際に、カスタム変数を用いて日付(%Y-%m-%d)付きのファイル名を設定してください

Datahub側

❗️

差分更新の際の注意点

データ転送（吐き出しと取り込み）は同一日付内に実施してください。日付が異なる場合データ転送が行えません。

Updated 5 months ago