Toma Tanaka (@fuyu_quant) 's Twitter Profile
Toma Tanaka

@fuyu_quant

BrainPad Inc. data scientist| AutoRes autores.one/japanese (AI研究の自動化PJ,松尾研発PJ)|自動機械学習研究システム「Research Graph」github.com/auto-res/resea…

ID: 1271053037826568193

linkhttps://github.com/auto-res/researchgraph calendar_today11-06-2020 12:14:11

433 Tweet

899 Takipçi

721 Takip Edilen

Toma Tanaka (@fuyu_quant) 's Twitter Profile Photo
Toma Tanaka
@fuyu_quant

a month ago

Chain-of-Experts: Unlocking the Communication Power of Mixture-of-Experts Models 新しいMoEであるChain-of-Expertsを提案。CoEではトークンを各レイヤー内で複数のexpertsに順番に渡し、段階的に隠れ状態を変化させ、それぞれの隠れ状態にあったルーティングを行う。 arxiv.org/pdf/2506.18945

Chain-of-Experts: Unlocking the Communication Power of Mixture-of-Experts Models 新しいMoEであるChain-of-Expertsを提案。CoEではトークンを各レイヤー内で複数のexpertsに順番に渡し、段階的に隠れ状態を変化させ、それぞれの隠れ状態にあったルーティングを行う。 arxiv.org/pdf/2506.18945