ローカルLLM一人アドカレの4日目です！ LLMのレイヤーを削除して小型化するDepth-only pruningをやってみる｜けん玉 zenn.dev/kendama/articl… #zenn #Qiitaアドカレ

ローカルLLM一人アドカレの5日目です！ 結果は微妙ですが、JMMLUのようなベンチマークをLLMに生成させてみたいという話です。 MMLUライクなドメイン知識評価のデータセットをLLMで作る｜けん玉 zenn.dev/kendama/articl… #zenn

ローカルLLM一人アドカレの6日目です！ モデルのパラメータの1つを0に変えるだけで出力が崩壊する「Super Weight」がどこにあるか探す記事になります！ 色々なモデルのSuper Weightを探そう｜けん玉 zenn.dev/kendama/articl… #zenn #Qiitaアドカレ

ローカルLLM一人アドカレの7日目です！ 深さ方向にモデルをスケールアップさせるDepth Up-Scalingのように、幅方向にスケールアップさせられないか考えてみました！ LLMを幅方向にUp-Scalingする方法を考えて試してみる｜けん玉 zenn.dev/kendama/articl… #zenn #Qiitaアドカレ

ローカルLLM一人アドカレの9日目です！ instructionデータセットの合成に適したモデルを探す【応答生成編】｜けん玉 zenn.dev/kendama/articl… #zenn #Qiitaアドカレ

ローカルLLM一人アドカレの10日目です！ instructionデータセットの生成に適したモデルを探す【instruction編】｜けん玉 zenn.dev/kendama/articl… #zenn

「LLM・LLM活用 Advent Calendar 2024」の 14日目として、Auto Evol-Instructのプロンプト最適化をローカルLLMにやらせる話を書きました ぜひご覧ください！ qiita.com/advent-calenda… #Qiitaアドカレ #Qiita

間が空いてしまいましたが、ローカルLLM一人アドカレの12日目です！ Phi-4のプロンプトで合成Preferenceデータセットを作る｜けん玉 zenn.dev/kendama/articl… #zenn

ローカルLLM一人アドカレの13日目です！ Qwen2.5-0.5B-InstructをUpcyclingしてMoEモデルを作る｜けん玉 zenn.dev/kendama/articl… #zenn