自然语言处理(简称 NLP)是计算机科学和人工智能研究的一个重要方向，研究计算机和理解和运用人类语言进行交互的问题，它是集语言学、机器学习、统计学、大数据于一体的综合学科。

本课程主要介绍了NLP中的常用知识点：分词、词法分析、句法分析、向量化方法、经典的NLP机器学习算法，还重点介绍了NLP中最近两年来基于大规模语料预训练的词嵌入模型及应用。同时本课程偏重于实战，不仅系统地介绍了 NLP的知识点，还讲解如何实际应用和开发，每章节都有相应的实战代码。

l  课程大纲

第一天：传统的NLP

一、NLP基础知识

1、自然语言处理简介

2、中文NLP的主要任务

3、常见的NLP系统

4、NLP的研究机构与资源

二、中文分词

1、基于字符串匹配的分词

2、统计分词法与分词中的消歧

3、命名实体识别

4、常用分词工具：JIEBA

三、文本的相似性

1、VSM

2、TF-IDF

3、初步情感分析

四、隐马尔科夫模型

1、形式化定义

2、三个问题

3、评估问题与向前向后算法

4、解码问题：维特比算法

5、学习问题：Baum-Welch算法

五、条件随机场

1、最大熵原理

2、无向图模型

3、最大团上的势函数

4、工具：CRF++

第二天：从传统到现代

一、从LSA到LDA

1、LSA与SVD分解

2、pLSA

3、LDA

二、神经网络语言模型

1、维数的诅咒

2、n-gram语言模型

3、NNLM的具体实现

4、改进的思路

三、word2vec

1、one-hot与Distributed

2、CBOW

3、skip-gram

4、Hierachical Softmax

5、Negative Sampling

四、循环神经网络（RNN）

1、RNN的基础架构

2、RNN的示例

3、LSTM

4、GRU

第三天：预训练模型之一（变形金刚、芝麻街、独角兽及其他）

一、GloVe

1、与word2vec的区别

2、统计共现矩阵

3、用GloVe训练词向量

二、Transformer

1、所有你需要的仅仅是“注意力”

2、Transformer中的block

3、自注意力与多头注意力

4、位置编码（为什么可以抛弃RNN）

三、三大特征抽取器的比较

1、CNN、RNN与Transformer的比较

2、融合各种模型

四、Elmo

1、双向语言模型

2、工作原理

3、Elmo的应用场景

五、GPT

1、“一定会有人用它干坏事”

2、GPT的内部架构

3、Transformer的演示

4、自注意力机制的改进

5、GPT的应用场景

第四天：预训练模型之二（站上BERT的肩头）

一、BERT的前世今生

1、之前介绍的模型回顾

2、现代NLP的最新应用场景

3、条条大路通BERT

二、BERT详解

1、原理与方法

2、BERT的应用场景

3、BERT源码简介

三、站在BERT肩膀上的新秀们

1、ERNIE

2、XLnet