transwarp-nlp

深度自然语言处理工具。代码正在持续实现和改进中，部分实现的功能现在都能够跑通，但是没有使用大规模语料来训练。后续会基于大规模语料来进行训练， 以求达到生产环境的要求。

功能实现

• 中文分词(CRF 和 BILSTM + CRF)
• 中文序列化标注(LSTM 或 BILSTM)
• 中文命名实体识别(LSTM 或 BILSTM)
• 中文关键词抽取（实现中）
• 中文文本自动摘要(SEQ2SEQ ATTENTION)
• 情感分析(MEMORY NETWORK)
• 依存句法分析
• 中文文本分类(CNN 和 LSTM)
• 中文多标签文本分类(CNN 和 LSTM)
• 中文自由写诗（实现中）
• 中文对话系统（实现中）
• 中文问答系统（实现中）
• 中英机器翻译（实现中）

依赖库

• python2.7
• tensorflow (>= r1.0)
• numpy
• pandas
• matplotlib
• sklearn
• future
• cPickle

参考资料

• A Neural Attention Model for Abstractive Sentence Summarization paper
• Aspect Level Sentiment Classification with Deep Memory Network paper
• Bidirectional LSTM-CRF Models for Sequence Tagging paper
• Convolutional Neural Networks for Sentence Classification paper
• Grammar as a Foreign Language paper
• Memory Network paper
• https://github.com/tensorflow/models/tree/master/tutorials/rnn/ptb code
• https://github.com/koth/kcws code
• https://github.com/google/seq2seq
• https://github.com/tensorflow/models/tree/master/textsum code
• https://github.com/qhduan/Seq2Seq_Chatbot_QA code
• https://github.com/jinfagang/tensorflow_poems code
• https://github.com/ganeshjawahar/mem_absa code
• https://github.com/yanshao9798/tagger code
• https://github.com/rockingdingo/deepnlp code
• https://github.com/luchi007/RNN_Text_Classify
• https://github.com/LambdaWx/CNN_sentence_tensorflow code

LICENSE

All code in this repository is under the MIT license as specified by the LICENSE file.