www.m3tech.blog

KestraとAmazon EKSのキャパシティプランニング - JVMに思いを馳せながら

エムスリーエンジニアリンググループGMで、データエンジニアの木田です。 この記事はデータ基盤チームのブログリレー4日目の記事です。前回は橋口さんの 「BigQueryのスロット、返し忘れていませんか? fluid scalingによるスロット費用最適化」 でした。 データ基盤チームでは Digdag / Embulk で長年運用してきた各種サービスから BigQuery へのデータ連携基盤を、Kestra（OSS のワークフローオーケストレータ）と EKS（AWS のマネージド k8s）へ移行しています。 移行作業自体は現在最終局面といったところで、Kestra の選定経緯や使用感については後