2022年の個人的総括と2023年の目標
およそ1年ぶりの更新になります。。。
Contents
まとめ
- 勤務技術ブログの執筆しかやってない
- 何もしなくても何かをしていても時間は等しく無くなることを実感
- 2023年やりたいこと:
- DeepSpeedに詳しくなる
- 成果物までたどり着く
2022年にやったこと
昨年もやっていた、2022年に世間一般に公開した技術的な話を時系列列挙してみたいと思います。
- 2022年1月: 勤務先ブログにて「深層学習の量子化に入門してみた 〜理論編〜」を公開
- 2022年3月: 勤務先ブログにて「深層学習の量子化に入門してみた 〜BERTをDynamic Quantization〜」を公開
- 2022年5月: 勤務先ブログにて「深層学習の量子化に入門してみた 〜BERTをStatic Quantization〜」を公開
- 2022年7月: 勤務先ブログにて「深層学習の量子化に入門してみた 〜BERTをIntel Neural CompressorでStatic Quantization〜」を公開
- 2022年12月: 勤務先ブログにて「DeepSpeed Compressionを使ってtask-specific BERTを蒸留してみた」を公開
勤務先で技術ブログを書く文化がなかったらどうなっていたんだろう。。。
振り返り
2022年は量子化とか蒸留を用いたモデルサイズ軽減にハマっていたみたいですね。
昨今機械学習モデルがどんどん大きくなるので、この辺調べると面白いかなと思ってやってみたら実際面白かったので1年通して調べてたみたいな感じです。
モデルサイズ軽減以外にも学習などなど様々な状況で取り回しが良さそうなDeepSpeedも面白く、まだまだ発展していくライブラリのような気がしました。
来年もこの辺は調べると思います。
今年他にやったこととしては技術的な知識を仕入れた点とかでしょうか。
Clean Code、レガシーコード改善ガイド、テスト駆動開発とかは結構参考になったような気がしますが、身についたかどうかはよくわからないです。。。
成果物？知らないですね。。。
2022年の総括
2022年は良く言えば来年のために充電していた年、悪く言えば何もしていない年だったと思います。
仕事終わってご飯食べてゲームして寝るだけでも一日は充実するんですね。。。
世間一般だとStableDiffusionとかChatGPTが話題になって、深層学習モデルが広く注目された年だったこともあり、自分もその辺でなにかしようかなとか思ったような気もしますが、逆張り気質なので結局投げるなどしてしまった記憶がちょっとありますね。。。
2023年の目標
2023年はとりあえず継続してDeepSpeedには詳しくなっておきたいですね。
これからも継続して使うライブラリのような気がします。
他にも量子化だとQATとかさわってないのでその辺はやりたいかな？
あとはやっぱり何か外に共有したい、とかが目標になるのかなと思います。
個人的に技術記事とか成果物とかって興味持った事柄を触っていると勝手に生えてくるものかと思っていたのですが、（少なくとも自分は）そうではなさそうなので、強い意志をもって成果物を生み出せるように活動していきたいと思います。
