Profil bibliographique

Tailai Ma

Informations fournies par OpenAlex. Research Africa ne déduit ni nationalité, ni poste, ni coordonnées personnelles.

4Publications signalées
8Citations signalées
0Affiliations récentes

Les domaines associés

Stochastic Gradient Optimization TechniquesElectromagnetic Scattering and AnalysisMatrix Theory and AlgorithmsDomain Adaptation and Few-Shot LearningMobile Crowdsensing and Crowdsourcing

Les publications récentes

Accès ouvert 2026 preprint OpenAlex

Scalable Training of Mixture-of-Experts Models with Megatron Core

Zijie Yan, Hongxiao Bai, Xin Yao, Dennis Liu et autres

Scaling Mixture-of-Experts (MoE) training introduces systems challenges absent in dense models. Because each token activates only a subset of experts, this sparsity allows total parameters to grow much faster than per-token computation, creating coupled constraints across memory, communication, and computation. Optimizing one …

1 citation arXiv (Cornell University)
Accès ouvert 2026 preprint OpenAlex

Scalable Training of Mixture-of-Experts Models with Megatron Core

Zijie Yan, Hongxiao Bai, Xin Yao, Dennis Liu et autres

Scaling Mixture-of-Experts (MoE) training introduces systems challenges absent in dense models. Because each token activates only a subset of experts, this sparsity allows total parameters to grow much faster than per-token computation, creating coupled constraints across memory, communication, and computation. Optimizing one …

0 citations arXiv (Cornell University)
Profil ORCIDNotice OpenAlex

BNTIC News n’est pas le producteur de ces données. Les publications sont interrogées à la demande dans Crossref, OpenAIRE, DOAJ, Europe PMC, HAL, DataCite, AfricArXiv, ROR et la Banque mondiale, sans clé d’accès. OpenAlex reste optionnel. Aucun service payant n’est nécessaire et aucune donnée externe n’est enregistrée en base. Consulter les sources et leurs limites.