スキップしてメイン コンテンツに移動

なぜ速くなったのか?

Rprof()を使って調べてみる。結論から言うとマトリックスをつくるところで遅いわけではないようだ。
<<<
my.prof <- function(x) {
Rprof()
x
Rprof(NULL)
print( summaryRprof() )
}

my.prof( montecarlo(100000) )
my.prof( montecarlo_vec(100000) )
my.prof( montecarlo_vec2(100000) )
my.prof( montecarlo_vec3(100000) )
>>>
まずは for() バージョン
<<<
by.self
self.time self.pct total.time total.pct
"runif" 0.80 57.1 0.80 57.1
"montecarlo" 0.54 38.6 1.40 100.0
"+" 0.04 2.9 0.04 2.9
"<" 0.02 1.4 0.02 1.4
"my.prof" 0.00 0.0 1.40 100.0
>>>
四則演算やrunifが for() で繰り返されているのでそのぶん遅くなっている。

次は replicate バージョン
<<<
$by.self
self.time self.pct total.time total.pct
"runif" 0.90 60.0 0.90 60.0
"FUN" 0.26 17.3 1.26 84.0
"lapply" 0.22 14.7 1.48 98.7
"^" 0.06 4.0 0.06 4.0
"sum" 0.04 2.7 0.04 2.7
"unlist" 0.02 1.3 0.24 16.0
"montecarlo_vec" 0.00 0.0 1.50 100.0
"my.prof" 0.00 0.0 1.50 100.0
"replicate" 0.00 0.0 1.50 100.0
"sapply" 0.00 0.0 1.50 100.0
"unique" 0.00 0.0 0.22 14.7
>>>
unlistやlapplyが出てきている。replicate は sapply とほとんど同じ。sapply = lapply + unlist っぽいのでそこがボトルネックになっているのだろう。ここはあとでソース確認したいが、どうやってみるんだっけ? さらに runifが繰り返されているので遅くなる。

乱数のマトリックスを先に作っておくバージョン
<<<
$by.self
self.time self.pct total.time total.pct
"runif" 0.04 50 0.04 50
"montecarlo_vec2" 0.02 25 0.08 100
"+" 0.02 25 0.02 25
"my.prof" 0.00 0 0.08 100
"as.vector" 0.00 0 0.04 50
"matrix" 0.00 0 0.04 50
>>>
runifの繰り返しがなくなったので速くなっている。

乱数のベクターを2つ用意しておくバージョンを見てみる。
<<<
$by.self
self.time self.pct total.time total.pct
"^" 0.02 50 0.02 50
"runif" 0.02 50 0.02 50
"montecarlo_vec3" 0.00 0 0.04 100
"my.prof" 0.00 0 0.04 100
>>>
一見、2回 runif したほうが matrix をつくるよりもましに見える。ところが良くわからないのが、マトリックスをつくる部分が遅いのか、それとも添字でカラムを取り出しているところが遅いのか? というところ。 まずはマトリックス作成が遅いのか調べてみよう。
<<<
> vec <- function(n) {
+ x <- runif(n)
+ y <- runif(n)
+ }
>
> mat1 <- function(n) {
+ x <- runif(n*2)
+ }
>
> mat2 <- function(n) {
+ x <- matrix(runif(n*2), ncol=2)
+ }
>
> mat3 <- function(n) {
+ x <- runif(n*2)
+ y <- matrix(x, ncol=2)
+ }
>
> my.prof <- function(x) {
+ Rprof()
+ x
+ Rprof(NULL)
+ print( summaryRprof() )
+ }
>
> my.prof( vec(1000000) )
$by.self
self.time self.pct total.time total.pct
"runif" 0.22 100 0.22 100
"my.prof" 0.00 0 0.22 100
"vec" 0.00 0 0.22 100

$by.total
total.time total.pct self.time self.pct
"runif" 0.22 100 0.22 100
"my.prof" 0.22 100 0.00 0
"vec" 0.22 100 0.00 0

$sampling.time
[1] 0.22

> my.prof( mat1(1000000) )
$by.self
self.time self.pct total.time total.pct
"runif" 0.2 100 0.2 100
"mat1" 0.0 0 0.2 100
"my.prof" 0.0 0 0.2 100

$by.total
total.time total.pct self.time self.pct
"runif" 0.2 100 0.2 100
"mat1" 0.2 100 0.0 0
"my.prof" 0.2 100 0.0 0

$sampling.time
[1] 0.2

> my.prof( mat2(1000000) )
$by.self
self.time self.pct total.time total.pct
"runif" 0.20 66.7 0.20 66.7
"matrix" 0.06 20.0 0.30 100.0
"as.vector" 0.04 13.3 0.24 80.0
"mat2" 0.00 0.0 0.30 100.0
"my.prof" 0.00 0.0 0.30 100.0

$by.total
total.time total.pct self.time self.pct
"matrix" 0.30 100.0 0.06 20.0
"mat2" 0.30 100.0 0.00 0.0
"my.prof" 0.30 100.0 0.00 0.0
"as.vector" 0.24 80.0 0.04 13.3
"runif" 0.20 66.7 0.20 66.7

$sampling.time
[1] 0.3

> my.prof( mat3(1000000) )
$by.self
self.time self.pct total.time total.pct
"runif" 0.20 76.9 0.20 76.9
"matrix" 0.04 15.4 0.06 23.1
"as.vector" 0.02 7.7 0.02 7.7
"mat3" 0.00 0.0 0.26 100.0
"my.prof" 0.00 0.0 0.26 100.0

$by.total
total.time total.pct self.time self.pct
"mat3" 0.26 100.0 0.00 0.0
"my.prof" 0.26 100.0 0.00 0.0
"runif" 0.20 76.9 0.20 76.9
"matrix" 0.06 23.1 0.04 15.4
"as.vector" 0.02 7.7 0.02 7.7

$sampling.time
[1] 0.26
>>>
あれ? matrixのほうが速い? これは添字でカラムを取り出しているところが遅いに違いない。
<<<
vec <- function(n) {
x <- runif(n)
y <- runif(n)
x^2
}

mat1 <- function(n) {
x <- matrix(runif(n*2), ncol=2)
x[1,]^2
}

> my.prof( vec(1000000) )
$by.self
self.time self.pct total.time total.pct
"runif" 0.22 78.6 0.22 78.6
"^" 0.06 21.4 0.06 21.4
"my.prof" 0.00 0.0 0.28 100.0
"vec" 0.00 0.0 0.28 100.0

$by.total
total.time total.pct self.time self.pct
"my.prof" 0.28 100.0 0.00 0.0
"vec" 0.28 100.0 0.00 0.0
"runif" 0.22 78.6 0.22 78.6
"^" 0.06 21.4 0.06 21.4

$sampling.time
[1] 0.28

> my.prof( mat1(1000000) )
$by.self
self.time self.pct total.time total.pct
"runif" 0.20 66.7 0.20 66.7
"matrix" 0.06 20.0 0.30 100.0
"as.vector" 0.04 13.3 0.24 80.0
"mat1" 0.00 0.0 0.30 100.0
"my.prof" 0.00 0.0 0.30 100.0

$by.total
total.time total.pct self.time self.pct
"matrix" 0.30 100.0 0.06 20.0
"mat1" 0.30 100.0 0.00 0.0
"my.prof" 0.30 100.0 0.00 0.0
"as.vector" 0.24 80.0 0.04 13.3
"runif" 0.20 66.7 0.20 66.7

$sampling.time
[1] 0.3
>>>
as.vectorの部分が遅くなっている。原因はこれか。ということは列和をベクトル演算する関数colSums()使えば速くなるかも! colSums忘れてたorz... しかも2乗もベクトル演算しちゃうよ。
<<<
montecarlo_vec4 <- function(n) {
y <- matrix(runif(n*2),nrow=2)
4*sum(colSums(y^2) < 1)/n
}

[1] 1.4855 # for
[1] 1.5224 # replicate
[1] 0.0482 # matrix
[1] 0.0138 # vector
[1] 0.0379 # matrix + colSums
>>>
くっ、届かないか。Rprofしてみるとas.vectorが縮まってない >< 単純に足し算は速くなったという感じ。

結論: マトリックスにカラムごとにアクセスするぐらいなら、2つのベクターを使ったほうが良い。colSumsとかでも追いつかない><

コメント

このブログの人気の投稿

シーケンスアダプタ配列除去ツールまとめ

FASTQ/A file からシーケンスアダプター配列やプライマー配列を除くためのプログラムをまとめてみる。 まず、配列の除去には大別して2つの方向性がある。ひとつは、アダプター配列を含む「リード」を除いてしまう方法。もうひとつは除きたい配列をリードからトリムする方法である。後者のほうが有効リードが増えるメリットが、綺麗に除ききれない場合は、ゲノムへのマップ率が下がる。 気をつける点としては、アダプター/プライマーの reverse complement を検索するかどうか。paired end の際には大事になる。クオリティでトリムできるものや、Paired-end を考慮するものなどもある。アダプター/プライマー配列の文字列を引数として直接入力するものと、multi fasta 形式で指定できるももある。 From Evernote: シーケンスアダプタ配列除去ツールまとめ TagDust http://genome.gsc.riken.jp/osc/english/software/src/nexalign-1.3.5.tgz http://bioinformatics.oxfordjournals.org/content/25/21/2839.full インストール: curl -O http://genome.gsc.riken.jp/osc/english/software/src/tagdust.tgztar zxvf tagdust.tgz cd tagdust/ make sudo make install rehash 使いかた: tagdust adapter.fasta input.fastq -fdr 0.05 -o output.clean.fastq -a output.artifactual.fastq 解説: 入出力形式は fastq/a が使える。リード全体を除く。速い。アダプター配列を fasta 形式で入力できるのが地味に便利で、これに対応しているものがなかなかない。Muth–Manber algorithm (Approximate multiple

DNAを増幅するサーマルサイクラーを自作してみたよ

DNAをPCR法で増幅するために必要なサーマルサイクラーを自作してみました。自作と言っても、いわゆる、PCの自作と同じでパーツを組み立てていく感じです。購入から組み立ての様子を簡単に紹介します。 モチベーション ラボには様々なレクリエーションがあります。例えば、単にどこかに遊びに行ったり、スポーツ大会したり、ひたすら合宿形式でプログレスのプレゼンをするミーティングするなどがあります。それもよいのですが、せっかくなので、普段の研究時間ではトライできないが、研究に関わる hack を行う、というイベントを企画してみました。夏休みの自由研究や社会科見学的なノリです。   うちのラボでは、PCRを使ったウェットの実験技術の開発をしてきました。しかし、サーマルサイクラーのハードウェアの仕組みを体験的に理解している訳ではありません。そこで、サーマルサイクラーを作ってみました。   欧米で始まっている、自宅のガレージやキッチンでバイオロジーを行うムーブメント、バイオパンク、DIYbio を体験しておきたいというのもありますし、Arduino などオープンハードウェア、Maker のムーブメントを体験するのも目的の一つです。ハードウェア開発が思っているほどハードルが下っていることを体験できて、かつ、将来、ウェットの開発だけでなく、装置開発などもできたら、ラッキー、ぐらいの気持ちでやってみました。   購入 今回作ったのは、組み立て式で、かつ、仕様などや設計図が公開されているOpenPCRというサーマルサイクラーです。ハードウェアの仕様・設計図、制御ソフトウェアなどの情報がすべて公開されており、部品からも自作することが可能です。今回は、「設計図から部品や回路のパーツを作り、それらを組み立てる直前のもの」を購入しました。   ChaiBio https://www.chaibio.com/   OpenPCR https://www.chaibio.com/products/openpcr   なぜか http://openpcr.org/  で購入できなかったので、eBay にある ChaiBio で買いました。   OpenPCR - eBay http://www.ebay.com/itm/111096418574   本体価格は

もうひとつの Nikaido Lab. が始動します

ろくに更新していないこのブログで公表するものどうかと思いましたが、SNS以外で個人の立場として近況を書けるところはここだけなので、ここに書きます。 2020年4月1日より、 国立大学法人 東京医科歯科大学 難治疾患研究所 ゲノム応用医学部門 ゲノム機能情報分野の教授職を拝命致しました。東京医科歯科大学 大学院医歯学総合研究科 修士課程 医歯理工保健学専攻/博士課程 生命理工医療科学専攻 ゲノム機能情報の教授も兼務し、教育にも従事します。理研のラボも残しつつ2組織3拠点体制で研究、それに教育に励んでいきます。 両方で研究をすることを許して頂いた理研と大学の関係各位に深く御礼を申し上げます。またPI不在が多くなるにも関わらず、いろいろと工夫してラボ運営や研究に参加してくれている理研のメンバーにも大変感謝しています。また事前にお知らせしたかった方々も大勢おりましたが、ばたばたしており直接お話できずに申し訳ありません。 ゲノム分野の新しいバイオインフォマティクス技術は、ゲノム科学の新しい計測技術の側に現れます。その理由は新しいデータには新しいデータ科学の課題があるからです。そのデータの側にいればまっさきにアクセスできオリジナリティを発揮しやすくなります。しかし、それだけではありません。そもそも、データをどのように出すべきなのか、あるいは、データ解析技術を前提すれば新しい計測技術が作れないか(計算と計測の融合)、という1歩、2歩と踏み込んだバイオインフォマティクスとゲノム科学の関係が最先端の研究現場にはあります。このようにして生み出された技術は、新しい生命現象を観測し解き明かし、やがては疾患の理解や制御、診断に役に立つでしょう。 理研ではこのような立場から新しい1細胞RNA-seq法とそのデータ解析技術を開発し、社会実装もしてきました。これは異なるタレントの研究者が揃って共同し生み出せたものです。しかし、アイディアの量に対して人材は常に少ない状況です。また大きなプロジェクト(と家庭と任期)を抱えている研究員では、なかなか気軽にいろいろなことを試すのが難しい状況もあります。このような背景から、研究速度や規模が圧倒的に速くなっているゲノム科学やそのバイオインフォマティクス研究で、国際的な存在感を出すことが難しくなっています。 ここ数年は、このような研究に興