新しい活性化関数「Mish」を使ってみた。
新しい活性化関数Mishというものが良さそうです。
詳しくは以下の記事参照してください。
ということで、kerasを使い簡単なCNNでMNISTの10クラス分類をやってみました。
比較対象は「ReLU」です。
結果(categorical_crossentropy)
ReLU: 0.0252
Mish: 0.0286
ReLUの方が良かったです(明記するまでもなく、てきとーな条件でてきとーに検証してみただけですが)。
細かい条件や、実装は以下のcolab見てください。
実装にあたっては、以下を参考にしました。