Python クライアントライブラリで Google Cloud Storage

Python クライアントライブラリで Google Cloud Storage

こんにちは、みかみです。 バッチ処理で BigQuery を使う場合に、データのロードやエクスポートなどで GCS を使うケースはよくあります。

こんにちは、みかみです。

バッチ処理で BigQuery を使う場合に、データのロードやエクスポートなどで GCS を使うケースはよくあります。

やりたいこと

  • GCS Python クライアントライブラリから GCS を操作したい
  • GCS Python クライアントライブラリのどのメソッドでどんな操作ができるのか確認したい

目次

前提

gcloud CLI や GCS クライアントライブラリを実行できる環境は準備済みです。

サービスアカウントを作成

クライアントライブラリからはサービスアカウントで GCS にアクセスするため、まずは GCS アクセス権限のあるサービスアカウントを gcloud CLI で作成します。

[[email protected] test_gcs]$ gcloud iam service-accounts create test-gcs
Created service account [test-gcs].

gcp

Bootstrap 5 Complete Course with Examples

Bootstrap 5 Tutorial - Bootstrap 5 Crash Course for Beginners

Nest.JS Tutorial for Beginners

Hello Vue 3: A First Look at Vue 3 and the Composition API

Building a simple Applications with Vue 3

Deno Crash Course: Explore Deno and Create a full REST API with Deno

How to Build a Real-time Chat App with Deno and WebSockets

Convert HTML to Markdown Online

HTML entity encoder decoder Online

Beginners Guide to Machine Learning on GCP

This blog covers basic knowledge needed to get started ML journey on GCP. Machine Learning is a way to use some set of algorithms to derive predictive analytics from data.

ScaleGrid GCP Support Now Available for MySQL, PostgreSQL & Redis™

ScaleGrid announces support for their fully managed hosting plans on GCP for MySQL, PostgreSQL and Redis™. Bring Your Own Cloud (BYOC) Available.

Google Kubernetes Engine Integration With GCP SQL & GCP Load-Balancer Across Multiple VPCs

Hello Geeks, in this blog, I’ll be explaining to you how to integrate GCP Kubernetes Engine with GCP SQL Database and how to attach a Load-Balancer on a Kubernetes deployment and connect VPCs of two different locations. So let’s get started.

Tutorial on Google Cloud Storage in GCP

An unified object storage service. It is used as a staging area to move data into other GCP components like Cloud SQL, BigQuery, Cloud Dataproc.

Predicting Air Pollution with Prophet on GCP

Using EPA’s public data for time series forecasting. GCP offers a suite of cloud technologies with fully managed and serverless solutions that make processing, storing, and analyzing data easy.