もし偉い人から「ちょっと流行りのLLMでなんか作ってよ」と言われたら（〜ビジネスサイド編〜）

こんにちは、くるくるです。

今年もアドベントカレンダーの季節がやってきたので、LAPRAS Advent Calendar 2023 に参加してこの記事を書いています。

朝早起きして書き切ろうと思ったら2歳の娘が泣きながら起きてきてしまったので、膝に乗せて妨害を受けながら書いています。

LLM（大規模言語モデル）の春が到来！

2023年は春のChatGPTの発表を皮切りに、LLMが一世を風靡した年になりました。今や業務やプライベートでチャットボットを活用するのも当たり前になってきており、LAPRAS社内でも自由に利用できるチャットボットが整備されました。一過性のブームは過ぎ去り、冷静にLLMにできることとできないことを理解して淡々と使っていくフェーズに入っているのかもしれませんね。

さて私は最近はプロダクト開発に携わることが多くなっているのですが、その中にLLMを使った機能についての実証実験や開発といったものがいくつかあったので、これからその波に乗ろうとする方の参考になるといいなと思ってメモを残しておこうと思いました。

「LLMってのを使ってこんな機能作ってよ！」と言われたら

まず考えるべきことは、「その機能には本当にLLMが必要なのか？」です。思いつくほとんどの機能はLLMを使わない方が早く正確にできるか、LLMを使ってもできない機能です。

エンジニアに論破してもらいましょう。間違っても「技術的には可能です」とか言わないように釘を刺すことは忘れずに！

いやいや、LLMを使った機能出しましたってプレスリリースがしたいんだよね！

と言われたら、素直にリスクの低い機能かLLMの得意な種類の機能をエンジニアに提案してもらいましょう…。

LLMにまつわる誤解を解こう

さて、LLMの活用を考えるにあたって、「誤解です！」と言えるイメージがいくつかあるので、その誤解を解いてみたいと思います。

誤解1: ChatGPTみたいにいい感じの文作ってくれるんでしょ

ChatGPTのイメージが先行していて、文章を「作成」してくれるというイメージが浸透しています。（ちなみに、ChatGPT自体はLLMをチャット形式で利用するためのUIを備えたツールであり、LLMそのものではありません）

文章は作ってくれるのですが、非常に可もなく不可もなく、回りくどく、独特なAIっぽさを感じさせる文章を出力してくれます。

また、結構意図と違う文章を返してくれるので、そういった例外を細かく指定し始めると「自分で書いた方が早い」になるケースも多々。

「なんか面白い文章が出力できれば良い」であればOKですが、正確性が求められる業務用途や表現力が求められるタスクにはあまりお勧めできません。

誤解2: 何でも聞けば回答してくれるんでしょ

はい、回答はしてくれます。ただし正しい回答や中立的な回答が返ってくるとは限りません。

ハルシネーション（hallucination）などと呼ばれているそうですが、

• 歴史上の出来事に対して普通に嘘を返してくる
• 与えられた文章から論理的に間違った回答を返してくる
• 学習に使われている文章に潜んでいるバイアスは排除しきれていない

など、完全に回答を任せ切るのにはまだ問題が多いようです。やはり厳密さや予測可能性を求められるタスクに使うのはまだ難しそうです。

誤解3: 小説とか論文とか読んでくれるんでしょ

読んではくれます。

が、実はLLMで一度に処理できる文章の上限は決まっています。（トークンと言います）

LLM自体は膨大な文章を学習して作られているということはよく知られているので、なんとなく大量の文章を読ませられそうなイメージがあるのですが、プロンプト+読ませる文章で上限値が決まっており、その長さは意外と短いです。

さらに、LLMには以下の特徴があります。一般のWeb開発ではそれほど気にしなくて良い観点なので、落とし穴になりがちかなと思います。

• 処理に時間がかかる
• 利用料金が文字数単位でかかる（API提供されているサービスを利用する場合）

この辺りの特徴を踏まえてどのような処理にするかを考えることも、LLM開発には重要になってきます。商用開発では、裏側でエンジニアが処理量を節約するためにあの手この手を考えてくれていたりするのです。

LLMにはLLMの得意なことをやってもらおう

プロダクション環境で利用する場合LLM特有のできることや問題はあるものの、得意不得意は従来の自然言語処理とそれほど大きく違わないようです。とはいえ社内のエンジニアが「検証がめちゃめちゃ早くなった！」と言っており、強力なツールであることは変わりませんのでうまく活用していければと思っています。

なお上記は2023年時点の状況です。これから急速に開発が進んで上記のようなことができるAIが登場するかもしれません。現に今年前半に出てきた技術もどんどんアップデートが進んで、段違いに性能が上がってできることがどんどん増えていますし、LLMを利用するための様々な製品も出てきています。

技術の進歩はすごいので、どうにかキャッチアップしていきたいですね！

ちなみに、このブログをLLMに書いてもらった結果

いい感じの文章が出たらそのまま使ってやろうと思ったのですが、プロンプトが雑だったのか、いまいち面白味のある文章になりませんでした…

当記事LLMバージョン

今年もアドベントカレンダーの季節がやってきました。LAPRAS Advent Calendar 2023に参加させていただき、LLM(大規模言語モデル)について書かせていただこうと思います。

さてLLMですが、ChatGPTの発表を皮切りに一世を風靡したと言っていい年になりました。私もあるプロジェクトでLLMを利用する機会がありました。しかしながら、LLMを過剰に期待するあまり、本来あるべき利用方法とは異なる使い方をしてしまうことが多々あるように感じます。

例えば、ChatGPTのようにいい感じの文章を作ってくれると期待する方がいらっしゃいます。確かにある程度の文章生成能力はありますが、ChatGPT並みのクオリティを常に保証できるわけではありません。

また、何でも聞けば正確な回答をしてくれると信じ込んでしまう方もいらっしゃいます。しかしLLMはインターネット上のテキストを学習しているだけであり、事実誤認や偏見を含んでいる可能性があります。盲信することなく注意深く利用する必要があります。

加えて、小説や論文を読解できると考えがちですが、実際には理解力に限界があります。要約することはできても、作品の主題やメッセージを正しく理解しているとは限りません。

つまりLLMには得意不得意があり、期待と現実のギャップに注意が必要です。プロダクション利用であれば、従来の自然言語処理手法と組み合わせることで補完し合い、より良いシステムを構築できるでしょう。LLM特有の長所を理解し、適材適所で利用していくことが大切だと思います。

以上、LLMへの誤解と現実的な利用方法について簡単にまとめてみました。ご参考にしていただければ幸いです。今後もLAPRAS Advent Calendarが盛り上がっていくことを期待しています。

— -

それではまた👋