GCP: Quota exceeded

1
2
3
4
5
6
7
8
9

# プロジェクトのクォータ一覧
gcloud compute project-info describe --project PROJECT_ID

# リージョン別クォータ
gcloud compute regions describe us-central1 --format="table(quotas)"

# 特定のクォータを確認
gcloud compute regions describe us-central1 \
  --format="value(quotas[name=CPUS])"

1
2
3
4
5

# Console経由でリクエスト
# https://console.cloud.google.com/iam-admin/quotas

# gcloudでは直接リクエストできないため、Consoleを使用
echo "https://console.cloud.google.com/iam-admin/quotas?project=PROJECT_ID"

1
2
3
4
5
6
7

# クォータに余裕のあるリージョンを確認
gcloud compute regions list --format="table(name,quotas[name=CPUS].limit,quotas[name=CPUS].usage)"

# 別リージョンでインスタンス作成
gcloud compute instances create my-instance \
  --zone=asia-northeast1-a \
  --machine-type=e2-medium

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

# 未使用のインスタンスを確認
gcloud compute instances list --filter="status=TERMINATED"

# 削除
gcloud compute instances delete INSTANCE_NAME --zone=ZONE

# 未使用のディスクを確認
gcloud compute disks list --filter="NOT users:*"

# ディスク削除
gcloud compute disks delete DISK_NAME --zone=ZONE

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19

import time
from google.api_core import retry
from google.api_core.exceptions import ResourceExhausted

# リトライデコレータを使用
@retry.Retry(predicate=retry.if_exception_type(ResourceExhausted))
def call_api():
    # API呼び出し
    pass

# 手動バックオフ
def call_with_backoff(func, max_retries=5):
    for i in range(max_retries):
        try:
            return func()
        except ResourceExhausted:
            wait_time = (2 ** i) + random.random()
            time.sleep(wait_time)
    raise Exception("Max retries exceeded")

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

from google.cloud import bigquery

client = bigquery.Client()

# 悪い例：個別リクエスト
for row in rows:
    client.insert_rows_json(table, [row])  # クォータ消費

# 良い例：バッチ挿入
client.insert_rows_json(table, rows)  # 1回のリクエスト

1
2
3
4
5

# Preemptible VMはクォータが別枠
gcloud compute instances create my-instance \
  --zone=us-central1-a \
  --machine-type=n1-standard-4 \
  --preemptible

1
2
3
4
5

# サービスアカウント作成クォータを確認
gcloud iam service-accounts list --format="value(email)" | wc -l

# 不要なサービスアカウントを削除
gcloud iam service-accounts delete SA_EMAIL

1
2
3
4
5
6
7
8

-- 現在のスロット使用状況
SELECT
  project_id,
  job_type,
  SUM(total_slot_ms) / 1000 as total_slot_seconds
FROM `region-us`.INFORMATION_SCHEMA.JOBS_BY_PROJECT
WHERE creation_time > TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 1 HOUR)
GROUP BY project_id, job_type;

1
2
3
4
5
6

# クォータ使用率のアラート
gcloud alpha monitoring policies create \
  --display-name="CPU Quota Alert" \
  --condition-filter="metric.type=\"compute.googleapis.com/quota/cpus/usage\" AND resource.type=\"compute.googleapis.com/Quota\"" \
  --condition-threshold-value=0.8 \
  --condition-threshold-comparison=COMPARISON_GT