CData Sync（β版）

Suggest Edits

❗️

注意事項

本機能は現在β版提供のため、今後仕様が変更される場合があります。

クラウド/SaaSデータ統合基盤「CData Sync」を介して、様々な外部サービスと双方向のデータ連携が可能です。

データ連携のパターン

  • 以下の連携が可能です
    • KARTE Datahub のデータを CData Sync を介して、外部サービスへ転送
    • 外部サービスのデータを CData Sync を介して、KARTE Datahub へ転送

注意点

  • 連携サービス側の設定やプランによっては、意図した通りに連携できない可能性があります
  • 必ず、事前に連携検証を実施してください

事前準備

KARTE Datahub と CData Sync のデータ連携は、自社の Google Cloud Platform または KARTE Datahub で払い出した Google サービスアカウントを介して実施するため、以下の設定が必要なります。ここでは前者を「外部 Google サービスアカウント」と後者を「KARTE Datahub の払い出しサービスアカウント」と呼びます。

推奨：外部 Google サービスアカウント を介して、KARTE Datahub と連携する

KARTE Datahub の払い出しサービスアカウントを介して、KARTE Datahub と連携する

📘

Googleサービスアカウント選択時の注意点

KARTE Datahub の払い出しサービスアカウントからのクエリ実行は、1TiB/日までに制限されています。大規模データを取り扱う場合は、自社の Google Cloud Platform 環境で作成した外部 Google サービスアカウントをご利用ください。

利用方法

CData Sync と KARTE Datahub を連携する

  • CData Sync にログイン後、Google BigQuery との接続を作成し、以下の設定を実施する
    • [設定] タブ
      • Auth Scheme は、OAuthJWT を選択する
      • Dataset Id は、連携したいデータセット名を入力する
        • 例）karte_stream_（プロジェクトID）
      • Project Id は、Dataset Id で設定したデータセットが所属するプロジェクト名を入力する
        • 例）karte-data, prd-karte-per-client
      • OAuth JWT Cert は、Google サービスアカウントの認証用 KeyFile が格納されている場所のローカルパスを入力する
        • 例）/Applications/CData/JSON/credential_XXXXXXXXXX.json
    • [Advanced] タブ
      • Billing Project Id は、外部 Google サービスアカウントまたは KARTE Datahub の払い出しサービスアカウント の課金プロジェクトIDを入力する
        • 例）prd-karte-service-account
      • KARTE Datahub のデータセットを更新する場合、Use Storage API は、False にする

CData Sync を介して、KARTE Datahub と外部サービスを連携する

  • CData Sync に、KARTE Datahub と連携したい外部サービスの接続設定を作成する
  • CData Sync でジョブを作成し、KARTE Datahub と外部サービスでデータ連携を実行する

📘

実行時の注意点

外部サービスから KARTE Datahub のテーブルを更新する際に、反映されるまで時間がかかることがあります。CData Sync 側の実行ログでエラーが出ていない場合は、正常に実行されております。

Updated 5 months ago