$$\mu $$-Parametrization for Mixture-of-Experts
Jan Małaśnicki, Kamil Ciebiera, Mateusz Boruń, Maciej Pióro et autres
0 citationsLecture notes in computer science
Kamil Ciebiera
Informations fournies par OpenAlex. Research Africa ne déduit ni nationalité, ni poste, ni coordonnées personnelles.
5Publications signalées
29Citations signalées
1Affiliations récentes
Institutions déclarées
Domaines associés
Topic ModelingFault Detection and Control SystemsProcess Optimization and IntegrationProtein purification and stabilityInnovative Microfluidic and Catalytic Techniques Innovation
Publications récentes
Decoupled Relative Learning Rate Schedules
Jan Ludziejewski, Jan Małaśnicki, Maciej Pióro, Michał Krutul et autres
0 citationsarXiv (Cornell University)
Scaling Laws for Fine-Grained Mixture of Experts
Jakub Krajewski, Jan Ludziejewski, Kamil Adamczewski, Maciej Pióro et autres
3 citationsarXiv (Cornell University)
MoE-Mamba: Efficient Selective State Space Models with Mixture of Experts
Maciej Pióro, Kamil Ciebiera, Krystian Król, Jan Ludziejewski
24 citationsarXiv (Cornell University)
Mixture of Tokens: Continuous MoE through Cross-Example Aggregation
Szymon Antoniak, Michał Krutul, Maciej Pióro, Jakub Krajewski et autres
2 citations
BNTIC News n’est pas le producteur de ces données. Métadonnées interrogées à la demande auprès de OpenAlex (CC0). Sources et limites.