スキップしてメイン コンテンツに移動

なぜ速くなったのか?

Rprof()を使って調べてみる。結論から言うとマトリックスをつくるところで遅いわけではないようだ。
<<<
my.prof <- function(x) {
Rprof()
x
Rprof(NULL)
print( summaryRprof() )
}

my.prof( montecarlo(100000) )
my.prof( montecarlo_vec(100000) )
my.prof( montecarlo_vec2(100000) )
my.prof( montecarlo_vec3(100000) )
>>>
まずは for() バージョン
<<<
by.self
self.time self.pct total.time total.pct
"runif" 0.80 57.1 0.80 57.1
"montecarlo" 0.54 38.6 1.40 100.0
"+" 0.04 2.9 0.04 2.9
"<" 0.02 1.4 0.02 1.4
"my.prof" 0.00 0.0 1.40 100.0
>>>
四則演算やrunifが for() で繰り返されているのでそのぶん遅くなっている。

次は replicate バージョン
<<<
$by.self
self.time self.pct total.time total.pct
"runif" 0.90 60.0 0.90 60.0
"FUN" 0.26 17.3 1.26 84.0
"lapply" 0.22 14.7 1.48 98.7
"^" 0.06 4.0 0.06 4.0
"sum" 0.04 2.7 0.04 2.7
"unlist" 0.02 1.3 0.24 16.0
"montecarlo_vec" 0.00 0.0 1.50 100.0
"my.prof" 0.00 0.0 1.50 100.0
"replicate" 0.00 0.0 1.50 100.0
"sapply" 0.00 0.0 1.50 100.0
"unique" 0.00 0.0 0.22 14.7
>>>
unlistやlapplyが出てきている。replicate は sapply とほとんど同じ。sapply = lapply + unlist っぽいのでそこがボトルネックになっているのだろう。ここはあとでソース確認したいが、どうやってみるんだっけ? さらに runifが繰り返されているので遅くなる。

乱数のマトリックスを先に作っておくバージョン
<<<
$by.self
self.time self.pct total.time total.pct
"runif" 0.04 50 0.04 50
"montecarlo_vec2" 0.02 25 0.08 100
"+" 0.02 25 0.02 25
"my.prof" 0.00 0 0.08 100
"as.vector" 0.00 0 0.04 50
"matrix" 0.00 0 0.04 50
>>>
runifの繰り返しがなくなったので速くなっている。

乱数のベクターを2つ用意しておくバージョンを見てみる。
<<<
$by.self
self.time self.pct total.time total.pct
"^" 0.02 50 0.02 50
"runif" 0.02 50 0.02 50
"montecarlo_vec3" 0.00 0 0.04 100
"my.prof" 0.00 0 0.04 100
>>>
一見、2回 runif したほうが matrix をつくるよりもましに見える。ところが良くわからないのが、マトリックスをつくる部分が遅いのか、それとも添字でカラムを取り出しているところが遅いのか? というところ。 まずはマトリックス作成が遅いのか調べてみよう。
<<<
> vec <- function(n) {
+ x <- runif(n)
+ y <- runif(n)
+ }
>
> mat1 <- function(n) {
+ x <- runif(n*2)
+ }
>
> mat2 <- function(n) {
+ x <- matrix(runif(n*2), ncol=2)
+ }
>
> mat3 <- function(n) {
+ x <- runif(n*2)
+ y <- matrix(x, ncol=2)
+ }
>
> my.prof <- function(x) {
+ Rprof()
+ x
+ Rprof(NULL)
+ print( summaryRprof() )
+ }
>
> my.prof( vec(1000000) )
$by.self
self.time self.pct total.time total.pct
"runif" 0.22 100 0.22 100
"my.prof" 0.00 0 0.22 100
"vec" 0.00 0 0.22 100

$by.total
total.time total.pct self.time self.pct
"runif" 0.22 100 0.22 100
"my.prof" 0.22 100 0.00 0
"vec" 0.22 100 0.00 0

$sampling.time
[1] 0.22

> my.prof( mat1(1000000) )
$by.self
self.time self.pct total.time total.pct
"runif" 0.2 100 0.2 100
"mat1" 0.0 0 0.2 100
"my.prof" 0.0 0 0.2 100

$by.total
total.time total.pct self.time self.pct
"runif" 0.2 100 0.2 100
"mat1" 0.2 100 0.0 0
"my.prof" 0.2 100 0.0 0

$sampling.time
[1] 0.2

> my.prof( mat2(1000000) )
$by.self
self.time self.pct total.time total.pct
"runif" 0.20 66.7 0.20 66.7
"matrix" 0.06 20.0 0.30 100.0
"as.vector" 0.04 13.3 0.24 80.0
"mat2" 0.00 0.0 0.30 100.0
"my.prof" 0.00 0.0 0.30 100.0

$by.total
total.time total.pct self.time self.pct
"matrix" 0.30 100.0 0.06 20.0
"mat2" 0.30 100.0 0.00 0.0
"my.prof" 0.30 100.0 0.00 0.0
"as.vector" 0.24 80.0 0.04 13.3
"runif" 0.20 66.7 0.20 66.7

$sampling.time
[1] 0.3

> my.prof( mat3(1000000) )
$by.self
self.time self.pct total.time total.pct
"runif" 0.20 76.9 0.20 76.9
"matrix" 0.04 15.4 0.06 23.1
"as.vector" 0.02 7.7 0.02 7.7
"mat3" 0.00 0.0 0.26 100.0
"my.prof" 0.00 0.0 0.26 100.0

$by.total
total.time total.pct self.time self.pct
"mat3" 0.26 100.0 0.00 0.0
"my.prof" 0.26 100.0 0.00 0.0
"runif" 0.20 76.9 0.20 76.9
"matrix" 0.06 23.1 0.04 15.4
"as.vector" 0.02 7.7 0.02 7.7

$sampling.time
[1] 0.26
>>>
あれ? matrixのほうが速い? これは添字でカラムを取り出しているところが遅いに違いない。
<<<
vec <- function(n) {
x <- runif(n)
y <- runif(n)
x^2
}

mat1 <- function(n) {
x <- matrix(runif(n*2), ncol=2)
x[1,]^2
}

> my.prof( vec(1000000) )
$by.self
self.time self.pct total.time total.pct
"runif" 0.22 78.6 0.22 78.6
"^" 0.06 21.4 0.06 21.4
"my.prof" 0.00 0.0 0.28 100.0
"vec" 0.00 0.0 0.28 100.0

$by.total
total.time total.pct self.time self.pct
"my.prof" 0.28 100.0 0.00 0.0
"vec" 0.28 100.0 0.00 0.0
"runif" 0.22 78.6 0.22 78.6
"^" 0.06 21.4 0.06 21.4

$sampling.time
[1] 0.28

> my.prof( mat1(1000000) )
$by.self
self.time self.pct total.time total.pct
"runif" 0.20 66.7 0.20 66.7
"matrix" 0.06 20.0 0.30 100.0
"as.vector" 0.04 13.3 0.24 80.0
"mat1" 0.00 0.0 0.30 100.0
"my.prof" 0.00 0.0 0.30 100.0

$by.total
total.time total.pct self.time self.pct
"matrix" 0.30 100.0 0.06 20.0
"mat1" 0.30 100.0 0.00 0.0
"my.prof" 0.30 100.0 0.00 0.0
"as.vector" 0.24 80.0 0.04 13.3
"runif" 0.20 66.7 0.20 66.7

$sampling.time
[1] 0.3
>>>
as.vectorの部分が遅くなっている。原因はこれか。ということは列和をベクトル演算する関数colSums()使えば速くなるかも! colSums忘れてたorz... しかも2乗もベクトル演算しちゃうよ。
<<<
montecarlo_vec4 <- function(n) {
y <- matrix(runif(n*2),nrow=2)
4*sum(colSums(y^2) < 1)/n
}

[1] 1.4855 # for
[1] 1.5224 # replicate
[1] 0.0482 # matrix
[1] 0.0138 # vector
[1] 0.0379 # matrix + colSums
>>>
くっ、届かないか。Rprofしてみるとas.vectorが縮まってない >< 単純に足し算は速くなったという感じ。

結論: マトリックスにカラムごとにアクセスするぐらいなら、2つのベクターを使ったほうが良い。colSumsとかでも追いつかない><

コメント

コメントを投稿

このブログの人気の投稿

シーケンスアダプタ配列除去ツールまとめ

FASTQ/A file からシーケンスアダプター配列やプライマー配列を除くためのプログラムをまとめてみる。 まず、配列の除去には大別して2つの方向性がある。ひとつは、アダプター配列を含む「リード」を除いてしまう方法。もうひとつは除きたい配列をリードからトリムする方法である。後者のほうが有効リードが増えるメリットが、綺麗に除ききれない場合は、ゲノムへのマップ率が下がる。 気をつける点としては、アダプター/プライマーの reverse complement を検索するかどうか。paired end の際には大事になる。クオリティでトリムできるものや、Paired-end を考慮するものなどもある。アダプター/プライマー配列の文字列を引数として直接入力するものと、multi fasta 形式で指定できるももある。 From Evernote: シーケンスアダプタ配列除去ツールまとめ TagDust http://genome.gsc.riken.jp/osc/english/software/src/nexalign-1.3.5.tgz http://bioinformatics.oxfordjournals.org/content/25/21/2839.full インストール: curl -O http://genome.gsc.riken.jp/osc/english/software/src/tagdust.tgztar zxvf tagdust.tgz cd tagdust/ make sudo make install rehash 使いかた: tagdust adapter.fasta input.fastq -fdr 0.05 -o output.clean.fastq -a output.artifactual.fastq 解説: 入出力形式は fastq/a が使える。リード全体を除く。速い。アダプター配列を fasta 形式で入力できるのが地味に便利で、これに対応しているものがなかなかない。Muth–Manber algorithm (Approximate multiple
2 件のコメント
続きを読む

ChIP-seq の Peak calling tool を集めたよ

ほかにもあったら教えてください。プログラム/プロジェクト名がツールのプロジェクトサイトへのリンク。その論文タイトルは論文へのリンクになっています。 ツール名の50音順です。 CCCT -  A signal–noise model for significance analysis of ChIP-seq with negative control , chipdiff と同じグループ CisGenome -  CisGenome: An integrated software system for analyzing ChIP-chip and ChIP-seq data . ChromSig -  ChromaSig: a probabilistic approach to finding common chromatin signatures in the human genome. ChIPDiff -  An HMM approach to genome-wide identification of differential histone modification sites from ChIP-seq data ChIP-Seq Analysis Server FindPeaks -  FindPeaks 3.1: a tool for identifying areas of enrichment from massively parallel short-read sequencing technology. Version 4.0 is out. GLITR -  Extracting transcription factor targets from ChIP-Seq data HPeak -  HPeak: an HMM-based algorithm for defining read-enriched regions in ChIP-Seq data MACS -  Model-based Analysis of ChIP-Seq (MACS). PeakSeq -  PeakSeq enables systematic scoring of ChIP-seq experimen
コメントを投稿
続きを読む

大学の研究室でアカデミックプランが使えるICTツール

自分らでサーバ管理したくないので、SaaS系とローカルで動くソフトのみ。ローカルで動くソフトに関しては、Mac or Docker で動くもののみ。 無償 G Suite for Education  (ドキュメント共有、カレンダーなど) GitHub Education  (ソースコード管理) esa.io アカデミックプラン  (知識共有) Tableau  (データ可視化) Scrapbox  (知識共有) GROWI.cloud  (Wikiなど) 割引 Slack の教育支援プログラム  (ビジネスチャット) Dropbox Education  (ファイル共有、ドキュメント共有) Office 356  (オフィスソフト) Adobe Creative Cloud  (画像編集) AutoDesk for Education  (CADなど) これから申し込んでいくところなので、本当に使えるかはわかりせん。使えた使えないなどの情報やほかのツールでお勧めがあれば教えてもらえると嬉しいです。 アカデミアでなくても無料で使えるツールのうち、うちで使うであろうものは以下に列挙していく。 Google Colaboratory  (データ解析) Overleaf  (論文執筆) Rstudio  (開発, データ解析) VS code (開発)
コメントを投稿
続きを読む