過去十年來，自然語言處理（NLP）的應用已呈現爆炸性成長。隨著人工智慧助理數量激增，公司組織也在業務中融入更多互動式人機體驗，因此勢必得理解自然語言處理技術是如何用於處理、分析和產生文字型的資料。運用現代技術，可捕捉到語言的細微差別、語境和複雜精妙之處，如同人類一般。在設計正確的情況下，開發人員可以運用這些技術打造強大的自然語言處理應用程式，在聊天機器人、人工智慧語音助理及更多其他的應用程式上，提供自然且順暢的人機互動效果。
深度學習模型受到自然語言處理廣泛採用，因為其能透過一系列的語境和語言，準確進行歸納。以 Transformer 為基礎的模型，例如 Transformer 的雙向編碼表示法（Bidirectional Encoder Representations from Transformers，BERT），在 SQuAD 的問答系統、實體識別、意圖識別、情緒分析這類基準上，所提供的準確度與人類標準相差無幾，讓 NLP 的發展發生了革命性的劇變。
在本實作坊中，會學習如何將以 Transformer 為基礎的自然語言處理模型運用於文字分類工作，例如分類文件。也會學到如何利用以 Transformer 為基礎的模型來處理命名實體識別（named-entity recognition，NER）工作，以及如何分析各種模型功能、限制和特性，以便依據指標、領域獨特性和可用資源，判斷何種模型最適合特定使用案例。
學習目標
參加本實作坊可學會：
- 瞭解文字內嵌如何在自然語言處理工作中迅速進化，例如 Word2Vec、遞歸神經網路（RNN）型內嵌及 Transformer
- 瞭解 Transformer 架構功能（尤其是自我注意力機制）是如何用於建立語言模型，而無需遞歸神經網路
- 使用自我監督技術提升 BERT、Megatron 和其他變體中的 Transformer 架構，以達到優異的自然語言處理成果
- 利用預先訓練的現代自然語言處理模型處理多項工作，例如文字分類、命名實體識別和問答系統
- 管理推論挑戰，並部署即時應用程式的微調模型
下載實作坊大綱與簡介 (PDF 71.9 KB)
