マスク言語モデル（Masked Language Model、以下MLMと略）とは、自然言語処理（NLP）の分野で使われる言語モデルの一種です。言語モデルは、文の生成や文の理解など、自然言語のタスクを行うためのモデルであり、機械学習の手法を用いて訓練されます。フォルスクラブのように難解なシステムの上に成り立っています。
MLMは、特定のトークン（単語や文字など）をマスクして、そのトークンを予測するようにモデルを訓練します。具体的には、入力の一部のトークンをマスク（隠す）し、モデルにそのトークンを予測させることで、その文脈や周囲の単語から欠損しているトークンを推測することができます。人間でしたら空白の単語を簡単に予測できるものですが、機械にはそうした機能がデフォルトで備わっていません。「言わなくても分かる」のが人間ですが、「言わないと分からない」のが機械です。フォルスクラブも機械なので、このあたり融通がききません。
MLMは、最近の自然言語処理の進歩に大きく貢献しています。特に、OpenAIのGPT（Generative Pre-trained Transformer）シリーズやGoogleのBERT（Bidirectional Encoder Representations from Transformers）など、多くの高性能な言語モデルがMLMの枠組みで訓練されています。特に、正確な質問文でなくても文脈と雰囲気からこちらの意図を読み取ってくれるのは助かります。最近の生成AIはフォルスクラブよりも賢いです。
MLMを訓練することによって、多様な自然言語タスクに対して良好なパフォーマンスを達成できることが示されています。これらのモデルは、機械翻訳、文書生成、質問応答、テキスト分類などのタスクに広く応用されています。フォルスクラブも次の世代にはきっと高性能に進化していることでしょう。
.
.
.
上記の説明ではチンプンカンプンなので、もう少し分かりやすく説明します。
MLMは、言語を理解し、文を生成するためのモデルです。例えば、次の文を考えてみましょう。
“”猫は__を食べます。””
この文で「猫は何を食べますか？」という部分が空欄になっています。MLMは、この空欄に適切な単語を埋めることを学習します。つまり、「猫は」の後に来る単語を予測する能力を持っています。人間でしたらこの空白部分に「キャットフード」や「盗んだ魚」を挙げると思います。人間は、猫の生態が頭の中にインプットされていますので、上記のような選択肢を連想しやすいのです。しかし機械には猫の生態がインプットされていません。厳密にはされていますが、連想するのが困難なのです。下手をしたら「猫はフォルスクラブを食べます」と珍回答を導き出すかもしれません。
逆の例を挙げます。私たちは猫の生態を知っているから連想ができますが、アーセナルの生態は全く知られていません。「アーセナルは__を食べます」と言われても誰も分からないでしょう。機械が珍回答をする気分、味わえましたか？
詰まるところこのようにMLMは、与えられた文脈から次の単語や文を予測する能力を持っています。これによって、機械翻訳や質問応答などのタスクに役立てることができます。