Data Transfer Service berguna untuk memindahkan data ke Google Cloud Platform. Berikut data transfer service yang tersedia:
Cloud Storage Transfer Service
- Otomasi transfer data dari source ke sink, dimana sink adalah Cloud Storage Bucket.
- Sumber yang didukung adalah:
- amazon S3, informasi yang diperlukan adalah bucket name, aws key id, secret key.
- http://, informasi yang diperlukan TSV (tab separated) file.
- Google Cloud Storage bucket, info yang dibutuhkan adalah bucket name dan IAM permission.
- Dapat dilakukan filter berdasarkan file names dan dates.
- Mendukung scheduled dan periodic transfers.
- Dapat menghapus object pada destination bucket.
- Secara opsional, Anda juga dapat menghapus object pada source bucket.
Terdapat IAM role yang dapat digunakan untuk melakukan transfer service.
- storagetransfer.admin, full access untuk list, create, update, dan delete transfer job dan operation.
- storagetransfer.user, memiliki permission untuk list, create dan update transfer job. List, pause dan resume transfer operation.
- storagetransfer.viewer, memiliki permission untuk list jobs dan operations.
BigQuery Data Transfer Service
- Otomasi transfer ke BigQuery dari berbagai sumber.
- Dapat dischedule.
- Dapat melakukan backfills historical data atau mengisi data yang mungkin kurang atau hilang karena service gaps atau outages
- Sumber yang didukung:
- Google Marketing Platform (Campaign Manager, Google Ad Manager, Google Ads)/
- YouTube (Channel Reports, Content Owner Reports).
- Sumber yang didukung (beta): Cloud storage, Google Merchant Center, Google Play, Amazon S3, Teradata, Amazon Redshift.
Transfer Appliance
Jika Anda memiliki volume data yang besar dan tidak dapat mengirimnya melalui internet, Anda dapat menggunakan Google Transfer Appliance.
Berupa physical storage device, terdapat dua versi 100TB dan 4080TB. Setelah data dimasukan ke device tersebut, kirim ke Google.
Google akan menghubungkannya dengan Google private network. Dan Anda dapat mengontrol data transfer ke tujuan melalui cloud console. Google menjamin sekuriti selama proses upload, transfer dan deletion.
Cara ini cukup lambat, namun berguna jika organisasi Anda memiliki regulasi untuk menggunakan physical data transfer.
Jika data sangat besar dan tidak ada regulasi seperti diatas, maka pendekatan dengan menggunakan multiple client vpn link dari data center Anda akan lebih cepat dibandingkan menggunakan physical transfer.