tech.kanmu.co.jp

Synapse開発日記: Google ADKのコンパクションで社内AIエージェントのコストを抑える

エンジニアの佐野です。Synapse という社内 AI エージェントを運用しています。その土台として使っている Gemini Enterprise Agent Platform (旧称: Vertex AI) の月額コストが4月から6月にかけて2.18 倍になりました。ユーザ数(Synapse を利用する社員数)および利用回数はもちろん増えていますがそれを加味しても爆発的なコスト増です。今日はコンパクションを効かせることでトークン使用量の削減 (=コスト削減)を実現した話をします。 0. Synapse について 社内 AI エージェント Synapse は FastAPI + Google