チュートリアルセッションTutorial Sessions

12月3日 Transformerの変遷と発展

品川 政太朗 氏(奈良先端大)
Qiu Yue 氏(産総研)
山本 晋太郎 氏(早稲田大)

概要

自然言語処理で提案されたTransformerは,画像や音声など他のモダリティでも有効性が確認され,広く使われるようになってきている.本講演では,Transformerのこれまでの変遷と発展を基礎から応用まで幅広く紹介する.具体的には,Transformerとはどのようなモデルであるか,どのような特徴があるのか,どのような派生があり,どのような問題に適用されてきているかについて扱う.

 

経歴

・品川 政太朗 氏(奈良先端大)

2013年東北大学工学部,2015年同大学大学院情報科学研究科修士(情報科学)を修了。20209月に奈良先端科学技術大学院大学で博士(工学)を取得し,同年11月より同大学で助教として従事.視覚と言語双方の領域を中心として幅広く興味を持ち,主に視覚情報を利用する対話システムの研究に従事.

・Qiu Yue 氏(産総研)

2021年3月筑波大学大学院システム情報工学研究科で博士(工学)を取得し、2021年4月より産総研人工知能研究センターでポスドクとして従事.2021年10月より同機関で研究員として従事視覚と言語のマルチモーダルの研究に従事.

・山本 晋太郎 氏(早稲田大)

2019年3月早稲田大学先進理工学研究科物理学及応用物理学専攻修了,修士(工学).2019年4月より同博士後期課程在学.2020年5月より産業技術総合研究所リサーチアシスタント.科学論文分析やvision and languageの研究に従事.