深度学习下的自然语言处理：理论与实践

课程目录

1. 第一天（四课时）：理论

   • 深度学习与自然语言处理
   • 深度学习模型基础

2. 第二天（四课时）：理论

   • 卷积神经网络及其在NLP中的应用
   • 循环神经网络及其在NLP中的应用

3. 第三天（四课时）：理论

   • 词表示学习
   • 知识图谱表示学习

4. 第四天（四课时）：实践

   • 深度学习基础实践
   • NLP卷积神经网络实践

5. 第五天（四课时）：实践

   • NLP循环神经网络实践
   • 表示学习实践

实践内容

开发环境配置

• DL4NLPinAction课程开发环境搭建教程

实践内容

1. 基础学习实践内容

   • TensorFlow介绍
   • TensorFlow实现逻辑斯特回归：情感分类
   • TensorFlow实现多层前馈网络

2. NLP模型实践内容

   • TensorFlow中的CNN实践基础：conv2d，max_pool
   • 基于CNN的文本分类实践：情感分类
   • 基于CNN的句子语义关系分类实践
   • TensorFlow中的RNN实践基础：RNN，RNNCell(GRU,LSTM)
   • 基于RNN的序列标注：中文分词
   • 基于RNN的语言生成模型：聊天机器人

3. NLP表示学习实践内容

   • 神经网络语言模型及其实践：NNLM，RNNLM
   • 词表示学习实践：Skip-Gram，GloVe
   • 知识图谱表示学习实践：TransE

实践代码与数据

1. 参考代码

   • 下载地址：http://pan.baidu.com/s/1i5dyVhb

2. 情感分类数据集

   • 下载地址：http://www.cs.cornell.edu/people/pabo/movie-review-data/

3. 关系分类数据

   • kbp37数据集，下载地址：https://github.com/zhangdongxu/kbp37
   • 其他可参考关系分类数据集：https://github.com/davidsbatista/Annotated-Semantic-Relationships-Datasets

4. 中文分词数据

   • 人民日报数据，下载地址：http://pan.baidu.com/s/1qY8sJ84

5. 对话数据

   • 来源：百度贴吧
   • 格式：post\tresp，文件中的每一行为一个"消息和回复对"，消息(post)和回复(resp)之间用\t分割
   • 下载地址：http://pan.baidu.com/s/1pLLSbiz

6. 知识图谱子集数据：fb15k

   • 下载地址：http://pan.baidu.com/s/1migGIbm

课程作业

• 提交课程报告或项目实践，可以任选一类完成。

• 对于课程报告，我们指定了若干方向，大家选择一个方向进行撰写综述报告，包括：1) 任务的介绍；2) 典型方法；3) 深度学习方法；4) 各方法综述和性能比较；5) 总结等内容。需要提交word或pdf文档。

• 对于项目实践，我们指定若干NLP相关任务，大家选择一个任务进行项目开发。需要提交：1) 能运行的项目代码和实验数据；2) 项目运行说明和性能说明文件（任意文本文件即可）。

• 课程报告可选方向

  • 情感分析
  • 垃圾评论检测
  • 中文分词
  • 实体识别
  • 关系抽取
  • 事件抽取
  • 问答系统
  • 对话系统
  • 机器翻译
  • 序列标注模型
  • 词表示学习
  • 知识图谱表示学习

• 实践项目可选任务

  • 垃圾评论检测，性能指标：F1值。参考文章：Learning to Represent Review with Tensor Decomposition for Spam Detection, in Proceedings of EMNLP 2016, Austin, USA, November, 1-5.
  • 语言模型（加入更多上下文，即实现文章 https://arxiv.org/abs/1601.01272 中的模型），数据：中文维基百科，性能指标：困惑度。
  • 中文分词（考虑BIEO不同标签的权重，如标签O的权重要比其他标签权重小），参考数据：人民日报数据集，性能指标：F1。
  • 聊天机器人（需要自行实现decoder，测试过程加入beam search），参考数据：百度贴吧（课程提供），性能指标：生成回复的困惑度，与标准回复的BLEU值等。