RigelのR言語メモであーる(R言語だけとは言っていない)

RigelのR言語メモであーる(主にpython)

興味あることや趣味、やったことについて書くよ

新しい活性化関数「Mish」を使ってみた。

新しい活性化関数Mishというものが良さそうです。

詳しくは以下の記事参照してください。

ai-scholar.tech

ということで、kerasを使い簡単なCNNでMNISTの10クラス分類をやってみました。


比較対象は「ReLU」です。

結果(categorical_crossentropy)

ReLU: 0.0252
Mish: 0.0286

ReLUの方が良かったです(明記するまでもなく、てきとーな条件でてきとーに検証してみただけですが)。

細かい条件や、実装は以下のcolab見てください。

colab.research.google.com

実装にあたっては、以下を参考にしました。

【機械学習】ColaboratoryでKerasを使ったMNISTを動かす - Qiita

Mish Class Definition in Keras · GitHub