Accès ouvert déclaré 2020 article

Differential Equation Units: Learning Functional Forms of Activation Functions from Data

MohamadAli Torkamani, Amirmohammad Rooshenas, Phillip Wallis

3Citations signalées, ce qui n’est pas une note de qualité

3Institutions déclarées

2Pays d’affiliation déclarés

Rattachement africain : de, us. Niveau de preuve : code pays fourni par la source.

Le résumé fourni par la source

Most deep neural networks use simple, fixed activation functions, such as sigmoids or rectified linear units, regardless of domain or network structure. We introduce differential equation units (DEUs), an improvement to modern neural networks, which enables each neuron to learn a particular nonlinear activation function from a family of solutions to an ordinary differential equation. Specifically, each neuron may change its functional form during training based on the behavior of the other parts of the network. We show that using neurons with DEU activation functions results in a more compact network capable of achieving comparable, if not superior, performance when compared to much larger networks.

Ce résumé expose les affirmations des auteurs. BNTIC ne l’interprète pas comme une validation indépendante des résultats.

Le contrôle bibliographique ouvert

DOI retrouvé dans Crossref DOI retrouvé ; titre concordant.

Titre Crossref: Differential Equation Units: Learning Functional Forms of Activation Functions from Data
Date Crossref: 03/04/2020
Éditeur: Association for the Advancement of Artificial Intelligence (AAAI)
Type: journal-article

Ce recoupement confirme des métadonnées liées au DOI. Il ne confirme ni la méthode ni les conclusions de l’étude, et il ne compte pas comme une seconde source scientifique indépendante.

Où se fait cette recherche

Amazon (Germany) pays non établi dans la notice
Entreprise
University of Massachusetts Amherst pays non établi dans la notice
Université ou école supérieure
Microsoft (United States) pays non établi dans la notice
Entreprise
Amazon.com pays non établi dans la notice
Institution
Microsoft Dynamics 365 AI pays non établi dans la notice
Institution

Amazon (Germany), University of Massachusetts Amherst et Microsoft (United States), avec 2 autres affiliations.

Une affiliation ne permet pas de déduire la nationalité d’un auteur.

Les sujets associés

Model Reduction and Neural NetworksNeural Networks and Applications

Lire en accès ouvert Consulter la publication primaire Ouvrir le DOI