自然言語処理 (NLP) の応用がここ 10 年間で急増しています。AI アシスタントが浸透し、対話型のヒューマン エクスペリエンスやマシン エクスペリエンスが業務に投入される中、NLP 手法を利用してテキストベースのデータを操作、分析、生成する方法を理解することが、きわめて重要になっています。最新の手法では、言葉のニュアンス、文脈、複雑さを人間と同等にとらえることができます。そして、適切な設計が伴えば、開発者はこれらの手法を利用して、チャットボット、AI 音声エージェントなどにおいて自然でシームレスな人間とコンピューターとの対話を実現する、パワフルな NLP アプリケーションを構築することができます。
ディープラーニング モデルは、広範な文脈と言語に対する正確な汎用化が可能なことから、NLP 向けに広く普及してきました。トランスフォーマーからの双方向エンコーダー表現 (BERT) などのトランスフォーマーベースのモデルは、質問応答、存在物の認識、意図の認識、感情分析などについて SQuAD などのベンチマークで人間のベースラインに匹敵する精度を実現することで、NLP に革命をもたらしてきました。
このワークショップでは、ドキュメントの類別などのテキスト分類タスクにトランスフォーマーベースの自然言語処理モデルを使用する方法を学びます。また、固有表現抽出 (NER) タスクにトランスフォーマーベースのモデルを活用する方法や、さまざまなモデルの機能、制約、特性を分析し、メトリック、ドメインの特異性、利用可能なリソースに基づいて特定のユース ケースに最適なモデルを判断する方法についても学びます。
学習目標
このワークショップでは、次のことを行います。
- Word2Vec、リカレント ニューラル ネットワーク (RNN) ベースの埋め込み、トランスフォーマーなどの NLP タスクにおいて、テキスト埋め込みがいかに急速に進歩してきたかを理解する
- トランスフォーマー アーキテクチャ機能 (特にセルフアテンション) を使用して RNN なしで言語モデルを作成する方法を確認する
- セルフスーパービジョンを使用して BERT や Megatron などその他バリエーションのトランスフォーマー アーキテクチャを改善し、優れた NLP 結果を得る
- 事前トレーニング済みの最新 NLP モデルを活用して、テキスト分類、NER、質問応答などの複数のタスクを解決する
- 推論の課題を管理し、ライブ アプリケーション向けの精密なモデルを展開する
ワークショップ データシートをダウンロードする (PDF 71.9 KB)