SSIIの見どころ

技術動向解説セッションでは、講師にMakoto Shing 氏
（Sakana AI株式会社）をお招きし、拡散モデルの今〜 2024年の研究動向 〜に関してご講演いただきます。

#SSII #SSII 2024

We have huge news today for Model Mergers...

We're now excited to announce the launch of the state-of-the-art functionality of Evolutionary Model Merging in MergeKit!

blog.arcee.ai/tutorial-tutor…

#nlp #ai #LLM #LLM s

Sakana AI Also very cool how the model release is not a model, rather the model merging recipe that their evolutionary algorithm landed at! huggingface.co/SakanaAI/EvoSD…

EvoSDXL-JP by Sakana AI uses evolutionary algos to find an optimal SDXL merge to reach high quality in 4 steps for japanese

猫が鏡を見て、その反射で獰猛な虎を見ている。
'A cat gazes into a mirror, seeing its reflection as a fierce tiger'

▶️ huggingface.co/spaces/SakanaA…

日本語対応の画像生成AI、東京発のSakana AIが発表　既存モデルより10倍高速 ascii.jp/elem/000/004/1…

🚀 Sakana AI unveils EvoSDXL-JP: High-speed T2I model supporting Japanese prompts!

🤯 Built using Model Merging
⚡ 10x faster inference speed than other Japanese models
💪 FID 13.51, HPS 27.19
🌟 Perfect for educational purposes
🏯 Enabling easy exploration of GenAI in Japanese

話題のAIベンチャー「Sakana AI」が画像生成AIを公開　“自律進化”技術で、推論速度が約10倍高速に
itmedia.co.jp/aiplus/article…

Sakana AIが「進化的モデルマージ」で構築した画像生成モデルを公開！

英語の高性能な基盤モデル(SDXL)+日本特化のモデル+高速なモデル→日本特化の高性能かつ高速なモデル

といった統合が可能

「浮世絵」を含むプロンプトで、公開モデル(左)とDALLE3 (右)を比較してみましたが、やはりより忠実です

進化的モデルマージを拡散モデルに適用した事例「EvoSDXL-JP」を公開しました！高品質なモデル、高速なモデル、日本語のモデルを混ぜることで高速で高品質な日本語対応の画像生成モデルが出来ました。特に、SDXL-Lightningを混ぜるだけでfew-step generation出来ちゃったのがおもろい……！

Sakana AIが提案した「進化的モデルマージ」により構築した画像生成モデル「EvoSDXL-JP」を公開しました。構築したモデルは日本語に対応しており、従来の日本語モデルと比べ10倍高速に画像を生成できます。

ブログ → sakana.ai/evosdxl-jp
デモ → huggingface.co/spaces/SakanaA……

Wow, I had no idea that Sakana AI is part of ‘The top 100 AI companies in 2024’ by CB Insights!

We will continue building a World Class AI R&D company in Japan. I believe the true path of success in AI is through innovation, and not simply scaling things up on many GPUs. 🔥

AI Research Tech Talk in Tokyo on 4/23, hosted by Sakana AI + CIC Tokyo!

airesearchtalk20240423.peatix.com

Topics covered:

• Evolutionary Model Merge: What lies ahead for the future of foundation models?
• Brain-controlled robotics
• Adaptive and growth algorithms for neural networks

サカナAI、異能の群れ　創業1年で企業価値300億円
nikkei.com/article/DGXZQO…

The more than 500k models on Hugging Face provide vast opportunities for creating merged models. Sakana AI's Evolutionary Model Merge algorithm automatically finds optimal solutions in the space of possible model merges.
H/T hardmaru for comments
venturebeat.com/ai/sakana-ais-…

One of the most imaginative LLM papers I've read in a while: use evolution to merge models from HuggingFace to unlock new capabilities, such as Japanese understanding. It's a form of sophisticated model surgery that requires much smaller compute than traditional LLM training. By…

Sakana AIが、モデルマージを自動化・高度化する進化的モデルマージ（Evolutionary Model Merge）を発表しました。 🤗

この手法によるモデルやデモが公開されています。試してみてください！

huggingface.co/SakanaAI

Training foundation models require enormous resources. We can overcome this by working with the vast collective intelligence of existing models. @HuggingFace has over 500k models in dozens of modalities that, in principle, can be combined to form new models with new capabilities!