まとめ

• 勤務技術ブログの執筆しかやってない
• 何もしなくても何かをしていても時間は等しく無くなることを実感
• 2023年やりたいこと:
  1. DeepSpeedに詳しくなる
  2. 成果物までたどり着く

2022年にやったこと

昨年もやっていた、2022年に世間一般に公開した技術的な話を時系列列挙してみたいと思います。

1. 2022年1月: 勤務先ブログにて「深層学習の量子化に入門してみた 〜理論編〜」を公開
2. 2022年3月: 勤務先ブログにて「深層学習の量子化に入門してみた 〜BERTをDynamic Quantization〜」を公開
3. 2022年5月: 勤務先ブログにて「深層学習の量子化に入門してみた 〜BERTをStatic Quantization〜」を公開
4. 2022年7月: 勤務先ブログにて「深層学習の量子化に入門してみた 〜BERTをIntel Neural CompressorでStatic Quantization〜」を公開
5. 2022年12月: 勤務先ブログにて「DeepSpeed Compressionを使ってtask-specific BERTを蒸留してみた」を公開

勤務先で技術ブログを書く文化がなかったらどうなっていたんだろう。。。

振り返り

2022年は量子化とか蒸留を用いたモデルサイズ軽減にハマっていたみたいですね。
昨今機械学習モデルがどんどん大きくなるので、この辺調べると面白いかなと思ってやってみたら実際面白かったので1年通して調べてたみたいな感じです。
モデルサイズ軽減以外にも学習などなど様々な状況で取り回しが良さそうなDeepSpeedも面白く、まだまだ発展していくライブラリのような気がしました。
来年もこの辺は調べると思います。

今年他にやったこととしては技術的な知識を仕入れた点とかでしょうか。
Clean Code、レガシーコード改善ガイド、テスト駆動開発とかは結構参考になったような気がしますが、身についたかどうかはよくわからないです。。。

成果物？知らないですね。。。

2022年の総括

2022年は良く言えば来年のために充電していた年、悪く言えば何もしていない年だったと思います。
仕事終わってご飯食べてゲームして寝るだけでも一日は充実するんですね。。。

世間一般だとStableDiffusionとかChatGPTが話題になって、深層学習モデルが広く注目された年だったこともあり、自分もその辺でなにかしようかなとか思ったような気もしますが、逆張り気質なので結局投げるなどしてしまった記憶がちょっとありますね。。。

2023年の目標

2023年はとりあえず継続してDeepSpeedには詳しくなっておきたいですね。
これからも継続して使うライブラリのような気がします。
他にも量子化だとQATとかさわってないのでその辺はやりたいかな？

あとはやっぱり何か外に共有したい、とかが目標になるのかなと思います。
個人的に技術記事とか成果物とかって興味持った事柄を触っていると勝手に生えてくるものかと思っていたのですが、（少なくとも自分は）そうではなさそうなので、強い意志をもって成果物を生み出せるように活動していきたいと思います。

まとめ

• やったことの大半は勤務先技術ブログの執筆
• 今年は研究発表ができた、来年は。。。
• 2022年やりたいこと:
  1. 来年ももう少し日本語要約を擦りたい
  2. 個人開発勉強する
  3. GECとかもちょっとやりたい

2021年にやったこと

2021年、世間一般に公開した内容を時系列順に挙げてみようと思います。

1. 2021年1月: 勤務先技術ブログにて「AACL-IJCNLP2020で発表してきました」を公開
2. 2021年3月: 言語処理学会第27回年次大会にて「CSJを用いた日本語話し言葉BERTの作成」を発表
3. 2021年3月: 言語処理学会第27回年次大会にて「事前学習モデルを用いた少量データに対する日本語抽象型要約
   」を発表
4. 2021年3月: ジャーナル自然言語処理にて学会記事「Stronger Baselines for Grammatical Error Correction Using a Pretrained Encoder-Decoder Model. の採択までの流れ記事」が公開
5. 2021年4月: 勤務先技術ブログにて「日本語話し言葉BERTを作成、公開します！」を公開
6. 2021年5月: 勤務先技術ブログにて「事前学習モデルBARTを使って日本語文書要約をやってみた」を公開
7. 2021年8月: 勤務先技術ブログにて「ACL2021のBest PaperのVOLTを日本語文書分類で試してみた結果...！」を公開
8. 2021年9月: 勤務先技術ブログにて「ラベルなしデータだけでも高い精度で文法誤り訂正ができるLM-Criticの紹介」を公開
9. 2021年9月: 日本語GPT-2を使ったデモアプリ「"小説家になろう"っぽい小説タイトルメーカー」を公開、紹介記事（Qiita）はこちら
10. 2021年11月: 勤務先技術ブログにて「事前学習モデルT5とTransformersを使ってお手軽日本語文書要約をやってみた」を公開
11. 2021年12月: 個人ブログ「塵も積もれば忘備録」を公開

勤務先の技術ブログ多いですね......

2021年前半を振り返って

1月から6月までを振り返ってみると、トピックとしては次の3つに分かれるみたいです。

1. AACL-IJCNLP2020のネタ
2. 言語処理学会第27回年次大会まわり
3. 日本語BARTで要約

1と2は2020年にやってたネタです。（何なら1は2019年終わり辺りからちょっとやってたまである）
1については、学会記事なども書かせて頂いて、研究の始まりはかなりわちゃわちゃしていたような気がしますが、終わりはちゃんと振り返りまでできたような覚えがあります。
学会記事を書かせて頂いて、改めて解説記事、というか論文採択までの流れを説明するのって難しいなぁと感じました。。。
この学会記事シリーズは個人的に読み物としてもかなり面白く（とくに採択までの流れは普段聞けないのでおもしろい）、隙間時間にちょこちょこ読んで、勉強させていただいています。

2は社内でやっていた話を外に出せて良かったーという点が自分にとって大きかったと思います。
日本語要約はデータ用意したから発表しちゃえ、ぐらいの気持ちだったような気が。。。
思ったよりも出力する要約の抽象度が高いデータだったので、そもそもEnc-Decでできるのか不安とかもありましたが、やってみたら意外とできたこともあり、その後も割とこのデータを擦っている感じですね。

3からが2021年に入って始めたことになると思います。
年次大会で日本語BARTを作っていただいたことを知り、動かしたいーって思って数ヶ月。
動かした話を世間に公開できてよかったです。

2021年後半を振り返って

7月から12月までを振り返ってみると、トピックは次のようになります。

1. 最新論文で遊ぶ
2. 日本語T5で要約
3. 個人開発をやってみた

1はただただ好奇心の産物です。
日本語でやってみるとどうなるかなー？的な疑問と、実際に自分で動かしてみたい気持ちでVOLTを触ってみたとかだったと思います。
LM-Criticも動かしてみたさはあったんですが、個人でやると絶対に重たいので断念、論文紹介に留めました。。。
来年もこういう記事はちょこちょこ出すだろうと思います。

2はせっかくあるなら動かそうのやつですね。
はじめてTransformersでEnc-Decやったんですが、めっちゃ簡単ですね。
OpenNMT-pyとかも当時は簡単だと思ったんですが、時代が進むとどんどん楽なものが出てくるんだなと実感させられました。

3は昨年からやりたいなと思いつつなかなかできなかった話ですね。
GPT-2デモの構成もそのうちどこかに書こうとは思うのですが、かなり簡単にできてます。
実際に作業しているときもググれば無限に解決策出てくるので、本当にいい時代になったものだと思いました。

2021年の総括

2021年、全体的には思ったより色々できなかったなーという印象です。。。
とくに個人開発周りとかはもっと色々できたかと。。。
平日もうちょっと時間作れればって後悔が大きいですね。

日本語要約で事前学習モデルを色々検証できたのは良かったかなと思います。
ひととおりはできたので、次は評価かデータセットか。
もう少し触りたいですね。

研究的な話は2020年にやったことが外に出た印象です。
来年は、、、どうなんでしょうね。。。

2022年の目標

2021年の振り返りから2022年の目標は次のようになるのかなと思います。

1. 日本語要約の評価ないしはデータセット
2. 開発周りをもう少し勉強する
3. GECないしは校正支援まわりのなにかをやる

1は色々やって技術ブログで公開とかできるとよいのかなと思います。
とりあえずBERTScore触りたい触りたいめちゃくちゃ触りたい。

2は切実ですね。。。
作りながら覚えていくのが自分の性に合っているので、そんな感じで進められるといいのかなと思います。

3が急に来た感じではありますが、これは以前の記事でGECとかを考えて、自分でもなにかできたらな、みたいな気持ちが由来ですね。
次の年次大会での発表を聞いて、そこから自分でもぱっとできそうな話を考えようと思ってます。