codezine.jp

LM StudioでローカルLLMを起動し、マシン性能と設定の「リアル」を検証する

前回は、ローカルLLMを社内で利用する際に避けて通れない「ハードウェア」と「モデル」の選び方について解説しました。ローカルLLMは、モデルをダウンロードして実行するだけなら、それほど難しいものではありません。しかし、実際に使い始めると、ハードウェアによる処理速度の違いや、さまざまな設定項目の意味など、実務で利用するために確認しておきたい点が見えてきます。そこで今回は、Mac StudioにLM StudioをインストールしてローカルLLMを実際に動かし、ハードウェアによる性能差や各種設定の意味を確認していきます。