かってきままな日々

_ wayfire 落ちなくなった?

一昨日くらいに wayfire をアップデートして、 それ以来、X アプリを使っても落ちてない。

おぉすごい。

zoom が Qt アプリなんで心配してたんだけど、今日一日問題なかった。

と、いうか、今週月曜、zoom が一時的に落ちてたらしいやん? zoom そんなに人気なの? 会議ツールなんて他にいくらでもありそうだけど。 いや whereby くらいしか知らんけど。

_ 言語処理学会 年次大会 2日目

self attention についての知識を得た。

というか、ふつーの attention がまだよく解ってないけど。 こっちは一回ぐぐってみんとダメかな。

https://orizuru.io/blog/machine-learning/attention/

↑つまり、attention には、調整すべき重みは存在しないんだな。 decoder側出力と相関の高いencoder側出力を自動で選出してくる、 それが attention。

もちろん、attention メカニズムをそこに導入することで、 encoder や decoder の重みの調整は更に複雑化するわけだけど。

http://deeplearning.hatenablog.com/entry/transformer

↑それは内積注意と呼ばれてるのかな。

で、self attention の場合には encoder 側と decoder 側に 分かれておらず、self に対して attention メカニズムを適用 するらしい。それって常に自分を選出するんでは? という気がする けど、まだよくわからない。

閑話休題。

昨日に比べて、ポスター発表に群がる人がずっと少なかった。 昨日は1つの発表に30人くらいいたけど、今日は10人程度だった。 みんなどうしたんだろう? 明日は何人くらいになるんだろう?