スキップしてメイン コンテンツに移動

なぜ速くなったのか?

Rprof()を使って調べてみる。結論から言うとマトリックスをつくるところで遅いわけではないようだ。
<<<
my.prof <- function(x) {
Rprof()
x
Rprof(NULL)
print( summaryRprof() )
}

my.prof( montecarlo(100000) )
my.prof( montecarlo_vec(100000) )
my.prof( montecarlo_vec2(100000) )
my.prof( montecarlo_vec3(100000) )
>>>
まずは for() バージョン
<<<
by.self
self.time self.pct total.time total.pct
"runif" 0.80 57.1 0.80 57.1
"montecarlo" 0.54 38.6 1.40 100.0
"+" 0.04 2.9 0.04 2.9
"<" 0.02 1.4 0.02 1.4
"my.prof" 0.00 0.0 1.40 100.0
>>>
四則演算やrunifが for() で繰り返されているのでそのぶん遅くなっている。

次は replicate バージョン
<<<
$by.self
self.time self.pct total.time total.pct
"runif" 0.90 60.0 0.90 60.0
"FUN" 0.26 17.3 1.26 84.0
"lapply" 0.22 14.7 1.48 98.7
"^" 0.06 4.0 0.06 4.0
"sum" 0.04 2.7 0.04 2.7
"unlist" 0.02 1.3 0.24 16.0
"montecarlo_vec" 0.00 0.0 1.50 100.0
"my.prof" 0.00 0.0 1.50 100.0
"replicate" 0.00 0.0 1.50 100.0
"sapply" 0.00 0.0 1.50 100.0
"unique" 0.00 0.0 0.22 14.7
>>>
unlistやlapplyが出てきている。replicate は sapply とほとんど同じ。sapply = lapply + unlist っぽいのでそこがボトルネックになっているのだろう。ここはあとでソース確認したいが、どうやってみるんだっけ? さらに runifが繰り返されているので遅くなる。

乱数のマトリックスを先に作っておくバージョン
<<<
$by.self
self.time self.pct total.time total.pct
"runif" 0.04 50 0.04 50
"montecarlo_vec2" 0.02 25 0.08 100
"+" 0.02 25 0.02 25
"my.prof" 0.00 0 0.08 100
"as.vector" 0.00 0 0.04 50
"matrix" 0.00 0 0.04 50
>>>
runifの繰り返しがなくなったので速くなっている。

乱数のベクターを2つ用意しておくバージョンを見てみる。
<<<
$by.self
self.time self.pct total.time total.pct
"^" 0.02 50 0.02 50
"runif" 0.02 50 0.02 50
"montecarlo_vec3" 0.00 0 0.04 100
"my.prof" 0.00 0 0.04 100
>>>
一見、2回 runif したほうが matrix をつくるよりもましに見える。ところが良くわからないのが、マトリックスをつくる部分が遅いのか、それとも添字でカラムを取り出しているところが遅いのか? というところ。 まずはマトリックス作成が遅いのか調べてみよう。
<<<
> vec <- function(n) {
+ x <- runif(n)
+ y <- runif(n)
+ }
>
> mat1 <- function(n) {
+ x <- runif(n*2)
+ }
>
> mat2 <- function(n) {
+ x <- matrix(runif(n*2), ncol=2)
+ }
>
> mat3 <- function(n) {
+ x <- runif(n*2)
+ y <- matrix(x, ncol=2)
+ }
>
> my.prof <- function(x) {
+ Rprof()
+ x
+ Rprof(NULL)
+ print( summaryRprof() )
+ }
>
> my.prof( vec(1000000) )
$by.self
self.time self.pct total.time total.pct
"runif" 0.22 100 0.22 100
"my.prof" 0.00 0 0.22 100
"vec" 0.00 0 0.22 100

$by.total
total.time total.pct self.time self.pct
"runif" 0.22 100 0.22 100
"my.prof" 0.22 100 0.00 0
"vec" 0.22 100 0.00 0

$sampling.time
[1] 0.22

> my.prof( mat1(1000000) )
$by.self
self.time self.pct total.time total.pct
"runif" 0.2 100 0.2 100
"mat1" 0.0 0 0.2 100
"my.prof" 0.0 0 0.2 100

$by.total
total.time total.pct self.time self.pct
"runif" 0.2 100 0.2 100
"mat1" 0.2 100 0.0 0
"my.prof" 0.2 100 0.0 0

$sampling.time
[1] 0.2

> my.prof( mat2(1000000) )
$by.self
self.time self.pct total.time total.pct
"runif" 0.20 66.7 0.20 66.7
"matrix" 0.06 20.0 0.30 100.0
"as.vector" 0.04 13.3 0.24 80.0
"mat2" 0.00 0.0 0.30 100.0
"my.prof" 0.00 0.0 0.30 100.0

$by.total
total.time total.pct self.time self.pct
"matrix" 0.30 100.0 0.06 20.0
"mat2" 0.30 100.0 0.00 0.0
"my.prof" 0.30 100.0 0.00 0.0
"as.vector" 0.24 80.0 0.04 13.3
"runif" 0.20 66.7 0.20 66.7

$sampling.time
[1] 0.3

> my.prof( mat3(1000000) )
$by.self
self.time self.pct total.time total.pct
"runif" 0.20 76.9 0.20 76.9
"matrix" 0.04 15.4 0.06 23.1
"as.vector" 0.02 7.7 0.02 7.7
"mat3" 0.00 0.0 0.26 100.0
"my.prof" 0.00 0.0 0.26 100.0

$by.total
total.time total.pct self.time self.pct
"mat3" 0.26 100.0 0.00 0.0
"my.prof" 0.26 100.0 0.00 0.0
"runif" 0.20 76.9 0.20 76.9
"matrix" 0.06 23.1 0.04 15.4
"as.vector" 0.02 7.7 0.02 7.7

$sampling.time
[1] 0.26
>>>
あれ? matrixのほうが速い? これは添字でカラムを取り出しているところが遅いに違いない。
<<<
vec <- function(n) {
x <- runif(n)
y <- runif(n)
x^2
}

mat1 <- function(n) {
x <- matrix(runif(n*2), ncol=2)
x[1,]^2
}

> my.prof( vec(1000000) )
$by.self
self.time self.pct total.time total.pct
"runif" 0.22 78.6 0.22 78.6
"^" 0.06 21.4 0.06 21.4
"my.prof" 0.00 0.0 0.28 100.0
"vec" 0.00 0.0 0.28 100.0

$by.total
total.time total.pct self.time self.pct
"my.prof" 0.28 100.0 0.00 0.0
"vec" 0.28 100.0 0.00 0.0
"runif" 0.22 78.6 0.22 78.6
"^" 0.06 21.4 0.06 21.4

$sampling.time
[1] 0.28

> my.prof( mat1(1000000) )
$by.self
self.time self.pct total.time total.pct
"runif" 0.20 66.7 0.20 66.7
"matrix" 0.06 20.0 0.30 100.0
"as.vector" 0.04 13.3 0.24 80.0
"mat1" 0.00 0.0 0.30 100.0
"my.prof" 0.00 0.0 0.30 100.0

$by.total
total.time total.pct self.time self.pct
"matrix" 0.30 100.0 0.06 20.0
"mat1" 0.30 100.0 0.00 0.0
"my.prof" 0.30 100.0 0.00 0.0
"as.vector" 0.24 80.0 0.04 13.3
"runif" 0.20 66.7 0.20 66.7

$sampling.time
[1] 0.3
>>>
as.vectorの部分が遅くなっている。原因はこれか。ということは列和をベクトル演算する関数colSums()使えば速くなるかも! colSums忘れてたorz... しかも2乗もベクトル演算しちゃうよ。
<<<
montecarlo_vec4 <- function(n) {
y <- matrix(runif(n*2),nrow=2)
4*sum(colSums(y^2) < 1)/n
}

[1] 1.4855 # for
[1] 1.5224 # replicate
[1] 0.0482 # matrix
[1] 0.0138 # vector
[1] 0.0379 # matrix + colSums
>>>
くっ、届かないか。Rprofしてみるとas.vectorが縮まってない >< 単純に足し算は速くなったという感じ。

結論: マトリックスにカラムごとにアクセスするぐらいなら、2つのベクターを使ったほうが良い。colSumsとかでも追いつかない><

コメント

このブログの人気の投稿

シーケンスアダプタ配列除去ツールまとめ

FASTQ/A file からシーケンスアダプター配列やプライマー配列を除くためのプログラムをまとめてみる。 まず、配列の除去には大別して2つの方向性がある。ひとつは、アダプター配列を含む「リード」を除いてしまう方法。もうひとつは除きたい配列をリードからトリムする方法である。後者のほうが有効リードが増えるメリットが、綺麗に除ききれない場合は、ゲノムへのマップ率が下がる。 気をつける点としては、アダプター/プライマーの reverse complement を検索するかどうか。paired end の際には大事になる。クオリティでトリムできるものや、Paired-end を考慮するものなどもある。アダプター/プライマー配列の文字列を引数として直接入力するものと、multi fasta 形式で指定できるももある。 From Evernote: シーケンスアダプタ配列除去ツールまとめ TagDust http://genome.gsc.riken.jp/osc/english/software/src/nexalign-1.3.5.tgz http://bioinformatics.oxfordjournals.org/content/25/21/2839.full インストール: curl -O http://genome.gsc.riken.jp/osc/english/software/src/tagdust.tgztar zxvf tagdust.tgz cd tagdust/ make sudo make install rehash 使いかた: tagdust adapter.fasta input.fastq -fdr 0.05 -o output.clean.fastq -a output.artifactual.fastq 解説: 入出力形式は fastq/a が使える。リード全体を除く。速い。アダプター配列を fasta 形式で入力できるのが地味に便利で、これに対応しているものがなかなかない。Muth–Manber algorithm (Approximate multiple

DNAを増幅するサーマルサイクラーを自作してみたよ

DNAをPCR法で増幅するために必要なサーマルサイクラーを自作してみました。自作と言っても、いわゆる、PCの自作と同じでパーツを組み立てていく感じです。購入から組み立ての様子を簡単に紹介します。 モチベーション ラボには様々なレクリエーションがあります。例えば、単にどこかに遊びに行ったり、スポーツ大会したり、ひたすら合宿形式でプログレスのプレゼンをするミーティングするなどがあります。それもよいのですが、せっかくなので、普段の研究時間ではトライできないが、研究に関わる hack を行う、というイベントを企画してみました。夏休みの自由研究や社会科見学的なノリです。   うちのラボでは、PCRを使ったウェットの実験技術の開発をしてきました。しかし、サーマルサイクラーのハードウェアの仕組みを体験的に理解している訳ではありません。そこで、サーマルサイクラーを作ってみました。   欧米で始まっている、自宅のガレージやキッチンでバイオロジーを行うムーブメント、バイオパンク、DIYbio を体験しておきたいというのもありますし、Arduino などオープンハードウェア、Maker のムーブメントを体験するのも目的の一つです。ハードウェア開発が思っているほどハードルが下っていることを体験できて、かつ、将来、ウェットの開発だけでなく、装置開発などもできたら、ラッキー、ぐらいの気持ちでやってみました。   購入 今回作ったのは、組み立て式で、かつ、仕様などや設計図が公開されているOpenPCRというサーマルサイクラーです。ハードウェアの仕様・設計図、制御ソフトウェアなどの情報がすべて公開されており、部品からも自作することが可能です。今回は、「設計図から部品や回路のパーツを作り、それらを組み立てる直前のもの」を購入しました。   ChaiBio https://www.chaibio.com/   OpenPCR https://www.chaibio.com/products/openpcr   なぜか http://openpcr.org/  で購入できなかったので、eBay にある ChaiBio で買いました。   OpenPCR - eBay http://www.ebay.com/itm/111096418574   本体価格は

R でいまどきなパッケージ開発 (devtools, testthat, roxygen2)

追記 (2012/04/21): 以下のコードは S4 classes で書いていますが、R5 reference classes で書き直してみました。こちらもどうぞ。 http://blog.hackingisbelieving.org/2012/04/r5-reference-class-r-devtools-testthat.html R のパッケージ開発の情報があまりないので、自分はこんな感じでやってます、というのを書いてみます。パッケージ開発支援の devtools と単体テスト支援の testthat, そしてドキュメント生成支援の roxygen を使うのがいまどきっぽいです。 そもそもパッケージを作製しているひとをあまりみたことがないので、もっとこうすべき、というのがあれば教えてほしいです。 今回はデモケースとして S4 OOP で、Idol クラスを定義し、とある身体的特徴の統計量を計算するパッケージを作ります。R のプロンプトは > で、シェルのプロンプトは $ で示しています。 0. 準備 必要になるパッケージをインストールします。 $ sudo R > install.packages(devtools) > install.packages(testthat) > q() devtools の設定をします。~/.Rpackages に設定を記述します。 $ emacs ~/.Rpackages list(   default = function(x) {     file.path("~/Project/dev/R/", x, x)   },   "idol" = "~/Projects/dev/R/idol/idol" ) 以下の行は今回パッケージを作製する作業ディレクトリになります。   "idol" = "~/Projects/dev/R/idol/idol" 1. ともあれ実装を始める 作業ディレクトリに移動します。 $mkdir -p ~/Project/dev/R/idol $ cd ~