ちゃんと発表したり、交流会に参加してる方すごいなぁって思います。 初めて会う方とお話ししようとしても、えっとえっとってなっちゃいます( •́ㅿ•̀ ) そもそも年上の男の人と話すのとっっっっても緊張するから、研究者さんとか開発者さんとうまくお話しできなくて、しゅんってなる...(｡í _ ì｡)

くまさんとねこさんになりたいです！！！₍˄·͈༝·͈˄₎ฅ˒˒ 頑張ってあみあみしないと！！！

this is insanely cool, day by day i'm tempted to learn in detail about and write CUDA megakernels!

最近お気に入りの本です˭̡̞(◞⁎˃ᆺ˂)◞*✰ かわいいは、 見えるものにあるんじゃなくて、 見えないものの在り方にあるってこと を思い出させてくれる本です(⑅•͈ᴗ•͈).:*♡ 研究とかお仕事とかばかりしてると、かわいい欠乏症になるので、気を付けないとってなります！( ๑>ω•́ )۶

物理学を見据えた「リー群と表現論」の記事を作成しました！ 55ページ作るのめっちゃ大変だった… 学びたてでまだまだ理解が浅い部分もあるかもしれませんが、自分が感じたリー群の構造の美しさをみなさんと共有できたらいいなと思い、駄文ながら共有いたします！ hono-nikki.vercel.app/blog/liegroup

昨今のLLMに用いられているアーキテクチャがまとめられています。 MLA、MoEを始めとして、各モデルの整理を行いたい場合に便利だと思われます。

Introducing our new work: 🚀Mixture-of-Recursions! 🪄We propose a novel framework that dynamically allocates recursion depth per token. 🪄MoR is an efficient architecture with fewer params, reduced KV cache memory, and 2× greater throughput— maintaining comparable performance!

Muon Optimizerの改良に関する論文

Alibaba Qwen has just released a non-thinking model even more powerful than Kimi K2... And even better than Claude Opus 4 🤯 → 100% open source → Only 22B active parameters → Available for free in Qwen Chat All the links below

The Era of DiffusionLM might be upon us "Diffusion Beats Autoregressive in Data-Constrained Settings" they find that DiffusionLMs outperform AR models if you’re bottlenecked by data rather than FLOPs same data can be reused for 100 epochs vs 4 epochs, as dLLM learns far more!

頭がいいって言われるより よく頑張ったねって頭を撫で撫でされる方が好き(∩´͈ ᐜ `͈∩)˖*♬೨ すごいねって言われるより かわいいって言われる方が好きだったりします₍˄·͈༝·͈˄₎ฅ˒˒ 学問が好きな人にしては、ちょっと変わってるかもですねʕ-ヮ-｡ʔ

LLMをN次多様体上の位相構造とすると、任意のアーキテクチャに対して同型なものは高々有限個しか存在しないのだろうか？

In papers, architectural design, sequence matrices, formulation of latent states, and computational complexity is often presented in detail. However, properties such as positive definiteness, mirror symmetry, numerical stability, and orthogonality are also crucial factors.

あのねあのね 何と Qiitaで絵文字が打てるみたい！！！ 記事をデコれる‧˚₊*̥(∗︎*⁰͈꒨⁰͈)‧˚₊*̥ 今まで全然知らなかった！！！ かわいい記事が書けるかも*:ஐ(●︎˘͈ ᵕ˘͈)人(˘͈ᵕ ˘͈●︎)ஐ:*