Local LLMを社内に提供！ Local LLM Model as a Serviceとその取り組みについて
コーディングエージェントの普及によって、LLMは日々の開発で欠かせない道具となりました。 その多くはクラウド型のサービスを通じて利用されており、高性能なモデルをすぐに使える環境が整っています。 同時に、日々の開発で常用するものだからこそ、扱うデータや利用の実態を自組織の内側に収めておきたい場面も出てきます。 そのため、クラウド型のサービスを活用しつつ、自組織で動かす選択肢も併せ持っておくことには意味があります。 自組織の管理下にあるGPUでモデルを動かせば、データが通る範囲も、利用履歴を記録する範囲や粒度も、自分たちで決められます。 私たちの部署では、この考えのもとに社内向けのLocal LL
まだブックマークされていません
X に入る文: Local LLMを社内に提供！ Local LLM Model as a Serviceとその取り組みについて