DeepSeek-AIの新手法 mHC（manifold-constrained hyper-connections）を、背景から手法の詳細までみっちり解説しました！！ 直観的にも数理的にも理解できる構成にしているので、キャッチアップにぜひ活用してください🥳 youtu.be/IBBI0HueYyo

ロボット学習の国際会議CoRL corl.org

この説明が秀逸 ``` while 1 response = llm.call(prompt, messages) if !response.toolCalls: return for toolCall in toolCalls: messages.append(toolCall.execute) ``` zenn.dev/layerx/article…

松尾研のLLMコンペの予選を通過したので決勝で入賞を目指す

デフォルトモードネットワークのメリデメを学んだ

20年前に携帯代として¥10,000/月は当たり前だったのに同等額のAI代が高いと感じてしまうケチな自分がいる

コンペに参加してみてファインチューニングの難しさがわかったので、こういうニュースの技術的な凄さを実感する

GPT-3でもFull-FTに1.2TBのGPUメモリが必要 LoRA+PeFTだと350GBのGPUメモリ

Llamaとllama.cppは完全に別物 Llama（大文字）→ Metaが開発したモデルシリーズ llama.cpp（小文字）→ Georgi Gerganovの個人プロジェクト

ALFWorld という LLM 用のベンチマークはまるでロボットを育ててるみたいで面白い

記事を書くときにあえて校正せず、むしろ誤字を残してAIによる記事じゃないことを暗に伝える

むかしはプログラミングにおいて物理メモリの使い方が大切だったように、現代ではコンテキストウィンドウを無駄に使わないことがとても大切

chat templateを使いこなすといろんなことができる

SFT/DPOの知見の塊 scrapbox.io/pokutuna/2024%…

A visual guide to modern LLM attention variants, all in one place: magazine.sebastianraschka.com/p/visual-atten…

LLMはステートレスなテキストサービスだ Deep research とかTool Useとか継続学習とか複雑なことをやってそうだけどLinuxで動くサービスとしてのインターフェースは変わらない

LLM Knowledge Bases Something I'm finding very useful recently: using LLMs to build personal knowledge bases for various topics of research interest. In this way, a large fraction of my recent token throughput is going less into manipulating code, and more into manipulating

AIの進化を阻んでいるのVRAMのサイズ TurboQuantはそのボトルネックを解消する技術 2020年のGPT-3から2026年のClaude Codeにいたるまで最前線のモデルは、3桁ビリオン規模に留まっているのはコスト的にそれ以上VRAMを積めないから

国の「AIロボティクス戦略」が公開 cas.go.jp/jp/seisaku/ai_…

夕方老眼ってカメラの被写界深度に通じてるんだ 瞳孔＝絞り 暗くなると瞳孔が大きくなりピントが合いづらくなる 朝からの時間経過による疲労とのダブルパンチを受ける