Leading NLP Ninja

Masked Language Modelingを活用して語彙拡張を行うTerm Set Expansionの手法を解説しました．

CMUとGoogle Researchによる40言語9タスクによるベンチマークXTREMEを解説しました．Cross-lingualな評価にとても良さそうです．

ICLR 2020より，Replaced Token Detectionタスクによる事前学習によってGLUEとSQuADでSOTAを獲得したStanford x Googleのモデルを解説しました．

ICASSP 2020より，ビジュアル情報を利用し，マスクされた音声信号を復元できるマルチモーダルASRを解説しました．

AAAI 2020より，多言語文埋め込みフレームワークEMUを解説しました．

ICLR 2020より，factorized embeddingとパラメタ共有によるパラメタ削減及び文順序予測タスクを採用したALBERTを解説しました．

ICLR 2020より，BERT/RoBERTaの埋め込み空間に，敵対摂動を入れるVirtual Adversarial Trainingによって，モデル性能を改善するFreeLBという手法を解説しました．

NeurIPS 2019よりDeepMindが発表した，様々な異なるタスク（テキスト分類とQA）のデータセットをepisodic memoryを利用して１モデルで学習できる手法を解説しました．

第４４回では，多言語で事前学習されたBERTを用いて，多言語でUniversal Dependenciesのタスクを解くモデルを解説しました．

第４３回では，Byte Pair Encodingを用いたサブワード正則化手法，BPE-dropoutを解説しました．

第４２回では，HuggingFace社のBERT, GPT-2, RoBERTaなどが気軽に利用できるTransformersフレームワークを紹介しました．

第４１回では，ACL 2019より要約タスクにおける"重要性"をモデル化して，Outstanding Paperを獲得した論文を説明しました．

第４０回では，ACL 2019よりFacebookのOpenDialKGという知識グラフを探索できる対話推論モデルを解説しました

第３９回では，ACL 2019 NLP for Conversational AIのBest Paperから，対話応答生成タスクにおいて，対話履歴と応答候補の因果関係に着目したリランキング手法を提案したモデルを紹介しました．

第３８回では，Amazonの方のACL 2019の参加レポートを解説しました

第３７回では，ACL 2019から，ACL2019からDSTC7のマルチモーダル対話でSOTAを獲得したMulti-Modal Transformer Networksを紹介しました．

第３６回では，IJCAI 2019から，自然言語処理を用いた最近のRLに関するサーベイ論文を紹介しました．

第３５回では，ACL 2019から，階層的にVAEを用いてマルチターン対話における言語生成を行う論文を紹介しました．

第３４回では，ACL 2019から，ニューラル対話生成モデルが，対話履歴を効果的に活用しているか調査した論文を紹介しました．

第３３回では，ACL 2019から，目的のトピックにスムーズに対話遷移できるopen-domainの対話システムに関する論文を紹介しました．

第３０回では，NAACLのBest Short Paperに選ばれた，マルチモーダル機械翻訳におけるビジョンモダリティの貢献具合を調査した論文を紹介しました．

第３０回では，NAACLのBest Short Paperに選ばれた，マルチモーダル機械翻訳におけるビジョンモダリティの貢献具合を調査した論文を紹介しました．

第２９回では，NAACLのBest Thematic Paperに選ばれた，学習データに含まれるバイアスを軽減させる手法を紹介しました．名前の単語埋め込みと予測確率の相関関係にペナルティを与えるロス関数を提案しています．

第２８回では，NAACLより学習した重みに対する透明性・説明性について一石を投じる論文を解説しました．
今回紹介した論文はこちらのissueで解説しています．

第２７回では，２０１８年度の振り返りの特別回として，アンケート結果の共有，NLPのおすすめ勉強方法と教材，論文の読み方，期末の振り返りと今後について話しました．

• アンケートの振り返り
• NLPの勉強の仕方，論文の読み方
• 今期，来期のはなし 

紹介した書籍やサイト

第２６回では，NLP2019のニューラルネットワークベースのシンプルな形態素解析器について解説しました．
今回紹介した論文は予稿集が公開され次第，issueを公開にします

第２５回では，NLP2019のサブワードを利用した単語分散表現のモデルについて解説しました．
今回紹介した論文は予稿集が公開され次第，issueを公開にします

第２４回では，BERTを利用してインテント分類とスロット抽出をjoint learningした手法を解説しました．
今回紹介した論文はこちらのissueで解説しています．

第２３回では，患者との対話を通して医療診断を行う対話システムKR-DSの解説をしました．
今回紹介した論文はこちらのissueで解説しています．

第２１回では，Googleによる双方向コンテキストを獲得した言語モデルBERTの解説をしました．
今回紹介した論文はこちらのissueで解説しています．

第２０回では，Amazonが行った音声合成の知覚評価に関する論文を解説しました．
今回紹介した論文はこちらのissueで解説しています．

第１９回では，Googleが開発したサブワードによるTokenizer/DetokenizerであるSentencePieceを解説しました．
今回紹介した論文はこちらのissueで解説しています．

ep18: PyText: A Seamless Path from NLP research to production
第１８回では，FacebookによるNLPのモデル化のためのフレームワーク，PyTextを解説しました．
今回紹介した論文はこちらのissueで解説しています．

第１７回では，Googleによるタスク指向対話におけるユーザーシミュレーターの論文について解説しました．

今回紹介した論文はこちらのissueで解説しています．