生成AIアプリケーション評価入門

生成AIを活用したアプリケーションは、リサーチ、ソフトウェア開発、各種創作活動の補助等、さまざまな知的労働において、欠かせないパートナーとなりつつあります。従来の演繹的なロジックの積み重ねにより構築されたソフトウェアと構造的に異なる生成AIアプリケーションは、その性質上、次の特徴を持ちます。 ・確率的出力:同じ入力に対して、常に同じ出力が得られるとは限らない ・複雑な挙動:入力と出力の関係が明確ではなく、ブラックボックス的な側面がある ・文脈依存性:過去のやり取りや外部情報によって出力が変化する これらの特徴から、生成AIアプリケーションの品質を保証するためには、従来のソフトウェアテストとは異なる手法によるテストと評価が不可欠となります。 本書では、生成AIを活用したアプリケーション、システムに焦点をあてて、そのテスト、評価のアプローチを紹介していきます。