自然言語処理

数学をなまけた人のために、ニューラルネットによる自然言語処理技術を解説しています。

高校数学をなまけた人のために、数学最低限度で、基本から最先端の技術までを、解説しました。DeepLearningに関しては、論文をなぞった解説記事とは異なり、ネットワークのパーツの直感的な意味から説明しているため、世界一わかりやすいと思う。

課題として言語処理100本ノックという問題集から選んだもの、サンプルコードとしてPyTorchのTutorial Sampleの自然言語を扱ったもの、を利用させてもらっています。

自然言語処理

導入

導入スライド

学習ロードマップ

準備

準備、Pythonリスト処理スライド

準備、Pythonリスト処理_解答付き.ipynb

準備、Pythonリスト処理_確認クイズ.ipynb

準備、Pandasスライド

準備、Pandas_解答付き.ipynb

準備、Pandas_確認クイズ.ipynb

準備、正規表現スライド

準備、正規表現_解答付き.ipynb

準備、正規表現_確認クイズ.ipynb

準備、数学スライド

準備、数学_確認クイズ.docx

準備、国文法スライド

準備、国文法_確認クイズ.txt

準備、形態素解析スライド

準備、形態素解析_解答付き.ipynb

準備、形態素解析_確認クイズ.txt

準備、サブワードスライド

sentencepiece.jpynb

準備、データ作成スライド

準備、データ作成_解答付き.ipynb

機械学習

機械学習スライド

機械学習_解答付き.ipynb

機械学習_確認クイズ.txt

ニューラルネット

ニューラルネットスライド

ニューラルネット_解答付き.ipynb

ニューラルネット_確認クイズ.txt

単語ベクトル

単語ベクトルスライド

Embedding, CBOW, Skipgram.ipynb

gensim_word2vec.ipynb

Wikipedia_corpus.ipynb(Macab版, SentencePiece版)

単語ベクトル_解答付き.ipynb

単語ベクトル_確認クイズ.txt

RNN

RNNスライド

rnn_translation.ipynb

rnn_languagemodel.ipyn

RNN_確認クイズ.txt

CNN

CNNスライド

MNIST_sample.jpynb

CNN_確認クイズ.txt

Attention,Transformer

Attention、Transformerスライド

attention_translation.ipynb

attention_languagemodel.ipynb

NLP、RNNCNNTransformer.ipynb

Attention_Transformer_確認クイズ.txt