ChatGPT 大規模言語モデルの進化と応用

●想定読者 本書は主に次のような方々に向けて書かれています。 ・データサイエンティストの方々 ・ChatGPTの仕組みや特徴を他のモデル作成に活かしたい方々 ・構文解析や感情分析などの伝統的なNLPタスクに携わる方々 ・深層学習による汎用大規模言語モデル、その応用先や評価に興味を持つAIの研究者 ●前提とする知識 言語モデルの学習や推論、またコーパスから得られる単語や文のベクトル表現など、NLPの基本的な概念を理解していれば大丈夫です。数式に馴染みがあり、トランスフォーマーやBERTの知識や経験があれば一層結構ですが、本書の中でも説明しているので、必須ではありません。 ●本書の特徴と工夫 本書は、理論と応用の両方を充実させました。 ChatGPTの背景や原理は、最新の理論に基づき体系的に整理しました。ミニChatGPTのサンプル開発やチューニングでは実際のコードを示し、手を動かしながら理解を深めることができます。また、データサイエンティストの方々には文系出身者も多いので、難易度が高い理論や数式は図説や脚注で補足しています。 応用面では、マイクロソフトのサービス実装など、実務に役立つ最新情報を提供。実際に直面する課題の解決や、応用先の拡大も図れるよう工夫しました。 ●本書に期待できること データサイエンティストの方々は、大規模言語モデルの作成方法が分かり、検索エンジンやチャットボットなど、ターゲットアプリに合わせたチューニングができるようになります。また、データ拡張を通じた改善や、プロンプトエンジニアリングの手法など、ChatGPTをサービスに利用するための必須知識が得られます。そして将来、未知の新しい応用先を開拓するための基本知識が身につきます。 研究者の方々は、大規模言語モデルの現状と限界、応用事例や実用性がわかり、研究方向の探索に役立ちます。特にNLPの研究者は、ChatGPTの登場によって今後の研究テーマが鋭く問われているので、本書が重要な手掛かりになるでしょう。 いずれの方も、本書のミニChatGPTの実装や、学習から評価に至る言語モデルの構築を経験することで、他の類似モデルのファインチューニングや対策の工夫ができるようになるでしょう。 ◆「AI/Data Science実務選書」とは… 機械学習やAIの計算モデルは、システム開発のパラダイムを覆しつつあります。「AI/Data Science実務選書」は、AI開発とデータサイエンスのプラクティスを集め、実務家のスキル獲得／向上を力強く支援します。