masahiro.teraoka (@tiraoka) 's Twitter Profile
masahiro.teraoka

@tiraoka

まだしぶとく映画作っています。

ID: 62261336

calendar_today02-08-2009 13:37:31

22,22K Tweet

1,1K Followers

548 Following

masahiro.teraoka (@tiraoka) 's Twitter Profile Photo

attentionについてはこの動画のシリーズが非常にわかりやすかった。この動画のシリーズでは元のAttention is All You Need の解説なのでRoPEではなくadditive PEだけど。それ以外のポイントもわかりやすく丁寧に解説されてた。 youtu.be/9Tu8H7wPVWo?si…

masahiro.teraoka (@tiraoka) 's Twitter Profile Photo

softmax使うから指数関数のせいで次元数に引っ張られてattentionの偏りが激しくなるから√dで割っちゃえなんだろうけど、そもそもsoftmax使わんかったらいいのにとは思わなくもない。でもこれは確率分布っぽさと指数関数の振る舞いがちょうどいいんだろうな

Philippe Hansen-Estruch (@tokenpilled65b) 's Twitter Profile Photo

LPIPS has been the go-to perceptual loss for autoencoder training, but it's built on VGG features from 2014. Today we're releasing DINO Perceptual Loss: a modern replacement using DINO that achieves better results without adversarial training: uv pip install dino-perceptual

LPIPS has been the go-to perceptual loss for autoencoder training, but it's built on VGG features from 2014.

Today we're releasing DINO Perceptual Loss: a modern replacement using DINO that achieves better results without adversarial training: 

uv pip install dino-perceptual
(株)松尾研究所 (@matsuoinstitute) 's Twitter Profile Photo

\ 松尾研究所テックブログ更新! / 新記事「Attention再入門 is all you need」を公開しました。執筆者は尾崎さん Taisei Ozaki / De:Lです! zenn.dev/mkj/articles/r…

masahiro.teraoka (@tiraoka) 's Twitter Profile Photo

映像ってまだまだ面白いな。広告映像だからこそあるエンタメ感が詰まってるわ。とか色々言わんくても本当に良い。

masahiro.teraoka (@tiraoka) 's Twitter Profile Photo

epiplexityのやつ. ざっくり読んだ。現場あるあるに軸と名前を与えたって感じかな・・・ 従来のmodel-datasetの学習ではない、model集合-dataset集合からなら何か学習可能なものが出てくるとかないかな。大きいところだとすでにそういう指標持ってそうにも思えるけど。

Hirokazu Yokohara (@yokohara_h) 's Twitter Profile Photo

2月21日(土)にデジタルハリウッド東京本校さんでトークセミナーに登壇させていただきます! デジタルハリウッドさんが来年度からAIを活用した新カリキュラム追加されるとのことで「AI時代に求められるCGクリエーター」というテーマでお話しさせていただくことになりました school.dhw.co.jp/school/tokyo/e…

2月21日(土)にデジタルハリウッド東京本校さんでトークセミナーに登壇させていただきます!
デジタルハリウッドさんが来年度からAIを活用した新カリキュラム追加されるとのことで「AI時代に求められるCGクリエーター」というテーマでお話しさせていただくことになりました
school.dhw.co.jp/school/tokyo/e…
どんちゃん (@ryu_endo_cg) 's Twitter Profile Photo

去年やらせていただきましたセミナー再演させていただくことになりました! 2日連続開催でアーノルドの質感周り、PBRなどについての内容になっています~ 基礎編は初学者向けでブログの内容とかぶる内容がありますのでご注意ください!

masahiro.teraoka (@tiraoka) 's Twitter Profile Photo

nightlyだけどsm121対応のtorchが来たっぽい。 forums.developer.nvidia.com/t/dgx-spark-sm… とりあえず、インストールしてVACEを試したところ、flash_attnで詰まったので、pipでflash_attnをビルドでインストール. 結果2%ほどの速度向上笑 ほぼ誤差?? メモリは5%ほど少なくて済むようにはなった。うーんどうだろこれ

masahiro.teraoka (@tiraoka) 's Twitter Profile Photo

ヴァービンスキーがUEについて発言ってので、1,2年後に動画生成AIについて発言するのは誰だろう・・・

masahiro.teraoka (@tiraoka) 's Twitter Profile Photo

h200のニュースはa certain amount of domestic chips を購入することを条件にしてる。ascend 910bなのかいまなら。単体単一ユニットではなく並列ユニットではnvlinkしかかたん状況だからなぁ・・・

masahiro.teraoka (@tiraoka) 's Twitter Profile Photo

tpuは最初から並列というか多ユニット複合体で光通信で次世代の中華チップはlightgenと呼ばれるチップ内も光信号で計算ってことだけど、排熱が少なくなるんかな