ETA オートスケーリング導入記 (1) — ワーカーをいつ増やすべきか?
SyncEta(ETA)は、テストシナリオを指定した時刻に自動実行できるスケジュール機能を提供しています。
通常運用では問題になりませんが、四半期ごとの大規模リグレッションテストのように特定の時間帯にジョブが一斉に集中するケースがあります。このときワーカー数が不足していると、実行待ちのシナリオが滞留し続けます。
かといって、イベントが集中するたびに運用者が手動でPod数を増やし、終了後にまた手動で減らすのが最善でしょうか?
テスト自動化ソリューションを運用しながら、肝心のワーカー増設を手動で行うというのは到底受け入れられません。
通常のHPAを使えばよいのではないか?
KubernetesにはHPA(Horizontal Pod Autoscaler)があり、CPUやメモリ使用率などを基準にPod数を自動調整できます。
当初はETAのワーカーにもHPAを適用すればよいと考えていましたが、ワーカーの実行構造を改めて整理すると大きな問題がありました。
ETAのワーカーPod 1つは、一度に1つのシナリオのみを実行します。そしてPod内部ではヘッドレスブラウザ、ワーカープロセス、Playwright MCPサーバーが同時に動作するため、1つのシナリオを実行するだけでも多くのリソースを消費します。
つまり、ワーカーがシナリオを実行中であれば、Podに割り当てられたCPUとメモリをほぼすべて使い切ります。
そのため、リソース使用率を基準にPod数を増やす設定にすると、シナリオがわずか1つ実行されているだけでもオートスケーリングが発動してしまう恐れがあります。
結論として、リソース使用率よりも重要なのは「実行を待っているシナリオがどれだけ存在するか(待機キューの長さ)」でした。
待機キュー(Redis Queue)を基準にスケールする
現在、ETAのスケジュール実行フローは以下のようなシンプルな構成になっています。
[WAS]
ユーザーがCronスケジュールを登録
↓
実行時刻にRedis QueueへJobを登録
↓
[Redis Queue]
実行待機中のJob
↓
[Worker Pod]
Jobを取得してシナリオを実行
すでにRedis上に実行待ちのジョブが蓄積されているため、この待機キューの長さを基準にワーカーを増減させればよいのではないかと考えました。
たとえば全ワーカーが稼働中で待機Jobが10件あるなら、その分だけワーカーPodを追加起動して並列処理させます。もちろんクラスタ資源は有限であるため、最大Pod数の上限(maxReplicaCount)は設けます。
課題は、一般的なCPU・メモリ指標ではなくRedis Queueの待機数をどのようにKubernetesのスケーリング指標として連携するかでした。
KEDA(Kubernetes Event-driven Autoscaling)の採用
調査を進めると、まさにこの用途に向けたKEDA(Kubernetes Event-driven Autoscaling)という仕組みがありました。
KEDAはCPU使用率のようなリソース指標だけでなく、Redis、Kafka、RabbitMQなど外部システムのイベントやキュー長を基準にKubernetesワークロードを拡張できます。
ETAでは、Redis Queueに積まれた待機Job数を基準にワーカーPod数を制御する方針を採用しました。
ただし、実際のQueue実装方式(List、Streamなど)によってKEDAで使用するScalerや待機数の計測方法が異なるため、内部データ構造に合わせた設定検証が必要です。
増やすことよりも「減らす(スケールイン)」方が難しい
Podを増やす条件は明確です。待機Jobが増えればワーカーを追加すればよいからです。
しかし、キューからジョブが取り出されて待機数が0になった瞬間に、すべてのワーカーPodを即座に縮小してもよいでしょうか?
そうではありません。Redis Queueが空であっても、すでにJobを取得したワーカーPod内ではシナリオがまだ実行中である可能性があります。この状態でPodが強制終了されると、ブラウザとMCPサーバーも同時に停止し、実行中のテストが中断されてしまいます。
したがって、単にQueue長を見るだけでなく、実行中のJobを保護するためのグレースフルシャットダウン処理とスケールインポリシーを併せて設計する必要があります。
今後の検証ステップ
目標は明確です。
待機中のシナリオが増えればワーカーPodが自動的にスケールアウトし、ジョブが減れば実行中のシナリオを安全に完了させた後にPodがスケールインする仕組みを構築すること。
次回(第2回)では、実際のRedis Queue構造の確認とKEDA ScaledObject設定、最大Pod数制限、そして実行中ジョブを保護する終了ポリシーの実装について詳しく紹介します。