「小規模言語モデル(SLM)」ってなに?小さなAIの特徴と期待

「小規模言語モデル(SLM)」ってなに?小さなAIの特徴と期待(総務省の白書)

ChatGPTのような大きなAIの話はよく聞きますが、最近は「小規模言語モデル(SLM)」という、小さなAIにも注目が集まっています。

この記事では、総務省の「令和8年版 情報通信白書」の第I部第2章第2節「最近の研究開発・社会実装動向」のうち、小規模言語モデルの部分をもとに、特徴や期待、日本での動きをまとめました。

小規模言語モデル(SLM)って、なに?

SLM(Small Language Model)は、一般に、大規模言語モデル(LLM)に比べて、パラメータ数が小さいモデルとされます。ただし、どこからが「小規模」かは決まっていません。白書では、次のような例が挙げられています。

  • 海外の研究論文: パラメータ数が70億以下のモデルをSLMとして扱っている。
  • IBM: 数十億から数百億程度としている。
  • 人工知能学会の論文: 140億パラメータ以下のモデルをSLMとして扱う例がある。

白書では、おおよそパラメータ数が百億程度までのモデルを、SLMとして扱っています。

小規模言語モデルと大規模言語モデルのちがい

SLMの強みと弱み

強み

  • パラメータ数が少なく、LLMを使った効率的な学習なども使われていて、カスタマイズがしやすい。
  • 特定の分野に限って学習させることで、軽くて、その分野の精度が高いモデルが作られている。
  • 計算量が抑えられるので、計算資源や消費電力に制約がある環境でも使える。スマホやパソコンなどの端末(エッジデバイス)の上で動かすのに向いている。
  • 端末の上で動かせば通信が必要ないので、個人情報などのプライバシー保護やセキュリティの面でも期待されている。

弱み

  • パラメータ数が少ないぶん、知識のカバー範囲や、複雑な推論の力に限界がある。
  • 幅広い知識や高度な推論が必要な用途では、SLMだけでは対応しきれない。
  • そのため、仕事では、検索拡張生成(RAG)で外部の知識を活用したり、LLMとSLMを組み合わせたりする方法が有効とされている。

国立情報学研究所の佐藤一郎教授(白書内のヒアリング)は、最初は性能重視でLLMが開発されてきたが、いまはデータ量などを減らせることがわかり、小型化の技術が大きく進んでいると指摘しています。スマホやタブレットでは、端末の上で使えるSLMの性能に限りがあり、ユーザーが満足できる性能を出せるか不確かなため、SLMが必須にはならない。一方、パソコンは、スマホやタブレットとの差別化のために、SLMが動くことが必須になる可能性がある。SLMが動く必要がある端末と、そうでない端末とで、二極化が進む、という見方です。

どんなところで使われると期待されているの?

  • 端末の中で処理する「エッジAI」として、大きな計算資源がなくても使える。
  • 通信が要らないことから、セキュリティの向上も期待されている。
  • スマホやウェアラブル端末など、個人が使う機器に入れて、すぐに返事が必要なサービスや、プライバシーを守りたい場面で使う。
  • 金融やコード生成など、特定の分野に特化したSLMで、安全性や信頼性を確保しながら業務を助ける。
SLMの強みと弱み

日本の動きは?

国際競争での位置づけ

佐藤教授は、汎用的なLLMはコモディティー化(どれも同じようなものになること)が見込まれるため、日本は分野を絞った(領域特化型の)AIに力を入れるべきだと考えています。特に、音声に対応したAIや、市場が大きく、日本の安全性や品質の高さを活かせる製造現場などでの応用に力を入れるべきだとしています。たとえば、電車の運転手が行う「指さし確認」にAIを入れると、確認し忘れをAIが指摘してくれるようになります。こうした日本型の仕事の仕方そのものを、海外へ広げていく可能性も示されています。

研究開発

  • いくつかのベンチマークでLLMを上回る性能のモデルや、分野特化型のモデルの開発が進んでいる。
  • 画像と言語など、複数の種類のデータを一緒に扱うSLMの研究も行われている。
  • Preferred Networksは、自動車や製造設備など、エッジデバイス向けの軽量モデル「PLaMo Lite」を提供している。日本語の性能を測る各種ベンチマークで、同じくらいのパラメータ数の他のモデルより高い性能を示し、パラメータ数の多いLLMと比べても遜色のない結果だったとされています。
  • 2025年には、ドローンやロボットなど、クラウドにつなげにくい環境向けの軽量な視覚言語モデルも開発しています。経済産業省とNEDOが行うGENIACのテーマにも採択されました。

社会実装

  • すでに、パソコンやスマホの端末上のAI機能や、端末のAIとクラウドのAIを使い分ける仕組みなどがあります。
  • 通信がない環境での作業の効率化や、分野特化型のAIの実装も始まっています。
  • EQUESは、製薬業界向けの特化型LLM「JPharmatron-7B」を発表しています。
  • 地域の例として、楽天モバイル、AWL、楽天ヴィッセル神戸の3社が、総務省の事業で、神戸市のスタジアムに、エッジAIを使って、立ち入る人物のリスクを判断して知らせるシステムの実証を行いました。監視カメラの近くのAIが画像を認識し、エッジサーバーがSLMで情報をまとめて、警備員にレポートします。クラウドAIと比べて、通信の混雑に影響されにくく、すばやく情報をやりとりでき、省電力・省コストな点で期待されています。
SLMに期待される使い方

関連記事

出典