attentionについてはこの動画のシリーズが非常にわかりやすかった。この動画のシリーズでは元のAttention is All You Need の解説なのでRoPEではなくadditive PEだけど。それ以外のポイントもわかりやすく丁寧に解説されてた。 youtu.be/9Tu8H7wPVWo?si…

softmax使うから指数関数のせいで次元数に引っ張られてattentionの偏りが激しくなるから√dで割っちゃえなんだろうけど、そもそもsoftmax使わんかったらいいのにとは思わなくもない。でもこれは確率分布っぽさと指数関数の振る舞いがちょうどいいんだろうな

LPIPS has been the go-to perceptual loss for autoencoder training, but it's built on VGG features from 2014. Today we're releasing DINO Perceptual Loss: a modern replacement using DINO that achieves better results without adversarial training: uv pip install dino-perceptual

＼ 松尾研究所テックブログ更新！ ／ 新記事「Attention再入門 is all you need」を公開しました。執筆者は尾崎さん Taisei Ozaki / De:Lです！ zenn.dev/mkj/articles/r…

流石は世界のshow yanagisawa とてもワクワクする映像になってて、すごい。

映像ってまだまだ面白いな。広告映像だからこそあるエンタメ感が詰まってるわ。とか色々言わんくても本当に良い。

ptaがcriticsで着ていた洋服が学生っぽくてカッコいい!

epiplexityのやつ. ざっくり読んだ。現場あるあるに軸と名前を与えたって感じかな・・・　従来のmodel-datasetの学習ではない、model集合-dataset集合からなら何か学習可能なものが出てくるとかないかな。大きいところだとすでにそういう指標持ってそうにも思えるけど。

ワンバトルアフターアナザー、コメディーか！笑　確かに・・・　暗号コントは吹いた

何度か試すと通るけど、根本的にめっちゃ不調だなclaude code

何やっても上手くいかんかったけどカヌレ型のシーズニングは上手くいって復活した

2月21日(土)にデジタルハリウッド東京本校さんでトークセミナーに登壇させていただきます！ デジタルハリウッドさんが来年度からAIを活用した新カリキュラム追加されるとのことで「AI時代に求められるCGクリエーター」というテーマでお話しさせていただくことになりました school.dhw.co.jp/school/tokyo/e…

去年やらせていただきましたセミナー再演させていただくことになりました！ 2日連続開催でアーノルドの質感周り、ＰＢＲなどについての内容になっています～ 基礎編は初学者向けでブログの内容とかぶる内容がありますのでご注意ください！

nightlyだけどsm121対応のtorchが来たっぽい。 forums.developer.nvidia.com/t/dgx-spark-sm… とりあえず、インストールしてVACEを試したところ、flash_attnで詰まったので、pipでflash_attnをビルドでインストール. 結果2%ほどの速度向上笑　ほぼ誤差？？　メモリは5%ほど少なくて済むようにはなった。うーんどうだろこれ

ヴァービンスキーがUEについて発言ってので、1,2年後に動画生成AIについて発言するのは誰だろう・・・

h200のニュースはa certain amount of domestic chips を購入することを条件にしてる。ascend 910bなのかいまなら。単体単一ユニットではなく並列ユニットではnvlinkしかかたん状況だからなぁ・・・

tpuは最初から並列というか多ユニット複合体で光通信で次世代の中華チップはlightgenと呼ばれるチップ内も光信号で計算ってことだけど、排熱が少なくなるんかな