Python クライアントライブラリで Google Cloud Storage

こんにちは、みかみです。 バッチ処理で BigQuery を使う場合に、データのロードやエクスポートなどで GCS を使うケースはよくあります。

こんにちは、みかみです。

バッチ処理で BigQuery を使う場合に、データのロードやエクスポートなどで GCS を使うケースはよくあります。

やりたいこと

• GCS Python クライアントライブラリから GCS を操作したい
• GCS Python クライアントライブラリのどのメソッドでどんな操作ができるのか確認したい

目次

• 前提
• サービスアカウントを作成
• バケット関連操作
• バケット情報参照
• バケット作成
• バケット更新
• バケット削除
• オブジェクト関連操作
• オブジェクト情報参照
• オブジェクト作成
• オブジェクトデータ取得
• オブジェクト削除
• GCS 操作関連メソッド一覧
• まとめ（所感）
• 参考

前提

gcloud CLI や GCS クライアントライブラリを実行できる環境は準備済みです。

• Cloud Storage Client Libraries ｜ Cloud Storage ドキュメント
• Setting up a Python development environment ｜ Python ガイド
• gcloud コマンドライン ツールの概要 ｜ Cloud SDK: コマンドライン インターフェース ドキュメント

サービスアカウントを作成

クライアントライブラリからはサービスアカウントで GCS にアクセスするため、まずは GCS アクセス権限のあるサービスアカウントを gcloud CLI で作成します。

• Setting up authentication ｜ Cloud Storage ドキュメント

[[email protected] test_gcs]$ gcloud iam service-accounts create test-gcs
Created service account [test-gcs].

gcp

This blog covers basic knowledge needed to get started ML journey on GCP. Machine Learning is a way to use some set of algorithms to derive predictive analytics from data.

ScaleGrid announces support for their fully managed hosting plans on GCP for MySQL, PostgreSQL and Redis™. Bring Your Own Cloud (BYOC) Available.

Hello Geeks, in this blog, I’ll be explaining to you how to integrate GCP Kubernetes Engine with GCP SQL Database and how to attach a Load-Balancer on a Kubernetes deployment and connect VPCs of two different locations. So let’s get started.

An unified object storage service. It is used as a staging area to move data into other GCP components like Cloud SQL, BigQuery, Cloud Dataproc.

Using EPA’s public data for time series forecasting. GCP offers a suite of cloud technologies with fully managed and serverless solutions that make processing, storing, and analyzing data easy.