Dynamo 0.4 is here and delivers 4x inference performance on Blackwell with disaggregated serving. ⚡️ New features include: • SLO-based disaggregated autoscaling • New disaggregated sizing tool • Real time LLM specific observability metrics • Fault tolerance inflight

最近、自分のキャパを超えたものを捌き続けなくてはいけず、悩んでましたが、昨日は特にボロボロでした。 今日はもう少し頑張りたい。

精神と時の部屋欲しい

時々個人が特定出来るpostをしてしまってはいるものの、アホな投稿をし過ぎていて公式アカとしてBioに晒すのは憚れる

AWSでH100を1枚単位で借りられるようになったようです👀 従来は、8GPU 1 Instance単位でないと借りられなかったので、利用を控えていた方多いと思いますが、これは朗報ですね。 aws.amazon.com/jp/about-aws/w…

Want to learn CUDA? We're teaching tutorials at NDC TechTown in Norway this September: CUDA C++ (Sep 22): nvda.ws/45EITdZ CUDA Python (Sep 23): nvda.ws/45C5uId Through hands-on exercises, we'll teach you how to write, benchmark, profile, and optimize GPU code!

100 🌟! github.com/wmmae/wmma_ext…

体がバキバキ過ぎる…

CuPy v13.6 is out, now with CUDA 13 support! 🚀 Install with: pip install cupy-cuda13x

We are excited to release Nvidia-Nemotron-Nano-V2 model! This is a 9B hybrid SSM model with open base model and training data. This model also supports runtime "thinking" budget control. HF collection with base and post trained models: huggingface.co/collections/nv…

📢New efficient Hybrid-SLM from NVIDIA-Nemotron-Nano-v2-9B: ❗️6x faster than Qwen3-8B because of Hybrid (Mamba2+Attention) design. We tried something new: pretrain & align a 12B reasoning model → compress to 9B. First real stab at reasoning-model compression. Key takeaways

☀️

今年の「不老」ユーザ会、NVIDIAからは第2回でも登場した村上が講演します。みなさまぜひご参加を。 LLM開発を支えるエヌビディアの生成AIエコシステム / 村上　真奈（エヌビディア合同会社）

体調が悪かった理由が判明した…そういう事だったのか…私…

事後学習済みLLM向け評価フレームワーク swallow-evaluation-instruct を開発し、MIT Licenseで公開しました。日本語と英語の高難易度ベンチマークに対応しており、統一された条件のもとで最先端LLMの性能を適切に測定できる新しい評価基盤です。 GitHub: github.com/swallow-llm/sw…

Nemotron Nano 2 9B-v2はMamba-Transformerのハイブリット型言語モデルで、長い思考トレースの生成コストを抑え、22GB GPU1枚で128kトークン長の推論を実現、同規模モデルと比べ6倍のスループットを実現。事前・事後学習データセットが大幅に改善され、長文理解・数学・コードの性能が特に強い

Nemotron Nano 2: research.nvidia.com/labs/adlr/NVID… Paper: research.nvidia.com/labs/adlr/file…

あ、esta...

理化学研究所、富士通およびNVIDIAとの国際連携による「富岳NEXT」開発体制を始動 riken.jp/pr/news/2025/2…