RigelのR言語メモであーる(R言語だけとは言っていない)

RigelのR言語メモであーる(主にpython)

興味あることや趣味、やったことについて書くよ

RでProject Euler(随時更新)

Project Eulerはプログラムで解く数学の問題集です。https://projecteuler.net/about(日本語訳→http://odz.sakura.ne.jp/projecteuler/) 頭の体操のためにR言語でProject Eulerを解いていきます。縛りは、基本のbaseパッケージのみとします。低頻度ですが、…

networkxとagraphのちょっとよくわからない挙動

networkxのMultiDiGraphをagraphに変換すると、ちょっとよくわからない挙動が発生したのでメモ。

pandasのSeriesよりDataFrameの方が保存サイズが小さくなる

1列のpandasのデータをpickleで保存する場合。 そのとき、なぜかSeriesで保存するよりDataFrameで保存した方がサイズが小さくなることを確認した。 ちょっと条件いろいろ試して実験しメモ。

新しい活性化関数「Mish」を使ってみた。

新しい活性化関数Mishというものが良さそうです。詳しくは以下の記事参照してください。ai-scholar.techということで、kerasを使い簡単なCNNでMNISTの10クラス分類をやってみました。

kerasのoptimizerの状態を保存する

背景 新規データに対して逐次的に毎日学習するkerasのモデルを考える。 シンプルなモデルであればmodel.save()とload_model()を使えばなんの問題もない。 参考: Kerasのノウハウ覚え書き しかし、Lambda層が入るとmodel.save()ができなくなる。 参考: Keras…

競艇や競馬の買い目最適化(ケリー基準の一般化)

はじめに ケリー基準を競艇や競馬へ適用できる形に一般化して、買い目を最適化することを目指します。ケリー基準の説明は以下のサイトをご参照ください。http://www.geocities.jp/y_infty/management/index.html 問題設定 特定のレースの特定の券種で、確定…

BTCFX 仮想通貨 レンジ相場の統計モデリング

仮想通貨のbotを作りたいです。トレンドフォロー系の論文を見つけて行けそうと思い、実装してみました。が、あまりうまく行かず。ネットをあさっていると、「レンジ相場がほとんど」という記事を見つけ、レンジ相場でアルファを見つけたいと思いました。とい…

変なユニバーサル基板を作ってみた。

ブログを1年以上放置していました。何かしら発信しようと思い、雑な記事ですけど投稿します。これからちょっとずつ投稿しようと思います。 作ったもの 3方向に挿すことができる2.54mmピッチのユニバーサル基板です。作ったといっても2年くらい前なのですが、…

ブックメーカーのオッズに関する考察

修論無事終えて最近ブックメーカーにはまってます。 知らない方はググってください。 ブックメーカーのオッズに関して考えてみたことのメモです。

Bradley-Terryモデルとその応用まとめ

スポーツの勝敗データを想定する。いろんなチーム(あるいは個人)のうち2チームが戦って勝敗を記録したデータ。 このデータから各チームの潜在的な「強さ」を推定してどのくらいの確率でどっちが勝つのかを推定するというお話。

Rで簡単な変化点検知(changepointパッケージ)

最近kaggleをやりはじめました。 その時に、簡単な変化点検知が必要となった。 changepointパッケージを使った簡単な変化点検知のメモ。

Shinyによる授業アンケートを解析するための可視化アプリ・改

以前、Shinyによる授業アンケートを解析するための可視化アプリという記事を書きました。 実際に使って頂いた結果、機能やUIで様々な改良点を挙げて頂きました。 今回はそれらを改良したアプリの報告です。

{競艇解析} 階層ベイズモデルによる着順予測(2)

階層ベイズモデルによる着順予測(1)で階層ベイズモデルをたてました。 今回はそのモデルを実際に動かしてサンプリングされたパラメータをチェックしていきます。

{競艇解析} 階層ベイズモデルによる着順予測(1)

競艇の着順を予測するにはどうすればいいだろう。 三連単の120クラス分類として機械学習(SVMやDL)がぱっと思い浮かびます。 ですが、クラス数が多い上にサンプル数もひどくばらばらで、4着以下のデータは全く無視となるので微妙です。 そこで、今回は階層ベ…

{競艇解析} 選手の性別による回収率の差

これから、趣味でやっている競艇の解析結果をちょくちょく書きます。 競艇で重視したいのはやっぱり回収率。 どんなパターンで回収率に差がでるのか、いろいろ仮説が立てることができる。 今回は、選手の性別によって回収率に差が出るのか検証する。

最大エントロピー法によるガンマ分布の導出

前回、最大エントロピー法により正規分布を導出しました。 その際の制約条件を少し変えることで、以下のガンマ分布が出てくるそうです。 今回は、このガンマ分布の導出に挑戦します。

最大エントロピー法による正規分布の導出

正規分布。一番使われる確率分布ですね。 様々な統計手法や機械学習で、前提としてデータに正規分布を仮定している場合が多いです。 みなさん知っての通り正規分布の確率密度関数は ですね。本などでいきなりでてきますが、この関数がどこからきたのか疑問に…

隠れマルコフモデル(HMM)とBaum-WelchアルゴリズムとViterbiアルゴリズムのよく分からない解説

今回は隠れマルコフモデル(HMM)についてです。 隠れマルコフモデルはRやPythonで実装するのは簡単ですが、理解するのは少々根気が必要です(私は必要でした)。 隠れマルコフモデル自体はシンプルなモデルなので動きは簡単ですが、隠れマルコフモデルで用いら…

Shinyによる授業アンケートを解析するための可視化アプリ

授業アンケート、誰もが一度はやったことがあると思います。 ですが、実際の教育現場ではアンケート結果の有効な解析ができていない様です。 今回は、依頼されて制作した授業アンケートの可視化アプリについてです。 アンケート結果は数字でみるだけではあま…

Rで標本分散と標本標準偏差を求める関数

分散には、不偏分散と標本分散がありますよね。 標準偏差には、不偏標準偏差と標本標準偏差がありますよね。 しかし、Rのbaseには不偏分散と不偏標準偏差を求める関数しかないです。 私は標本分散、標本標準偏差の方が知りたいことが多いです。 毎回ぐぐって…

Rのグラフの注釈で、TEXのような数式表現を使う

Rのグラフの注釈に、数式表現を入れたいと思ったことはありませんか? 例えば、なんらかの密度関数をプロットして、数式を書きたいときとか。 もちろんそんなことは後からRの外で書けばいいんですが、 やっぱりRの中だけで完結したい!! そんなときに役立つ…

RからPythonスクリプトを実行する

私はRをメインで使い、サブでPythonを使います。 そんな私は、「基本はRで処理して、この処理だけPythonでやりたい!」と思うときがたまにあります。 そういったとき、RからPythonスクリプトを実行すれば解決します。 だけど、コマンドライン引数や返り値の…

Rでcsvの書き込みと読み込みの高速化

R

Rでcsvファイルの高速な書き込みと読み込みの方法。 よく使われているcsvの書き込みと読み込みの関数にwrite.csvとread.csvがある。 しかし、どちらの関数も実行時間が遅い。 私が良く使っている関数は、data.tableパッケージのfwriteとfreadです。 こっちの…