スキップしてメイン コンテンツに移動

なぜ速くなったのか?

Rprof()を使って調べてみる。結論から言うとマトリックスをつくるところで遅いわけではないようだ。
<<<
my.prof <- function(x) {
Rprof()
x
Rprof(NULL)
print( summaryRprof() )
}

my.prof( montecarlo(100000) )
my.prof( montecarlo_vec(100000) )
my.prof( montecarlo_vec2(100000) )
my.prof( montecarlo_vec3(100000) )
>>>
まずは for() バージョン
<<<
by.self
self.time self.pct total.time total.pct
"runif" 0.80 57.1 0.80 57.1
"montecarlo" 0.54 38.6 1.40 100.0
"+" 0.04 2.9 0.04 2.9
"<" 0.02 1.4 0.02 1.4
"my.prof" 0.00 0.0 1.40 100.0
>>>
四則演算やrunifが for() で繰り返されているのでそのぶん遅くなっている。

次は replicate バージョン
<<<
$by.self
self.time self.pct total.time total.pct
"runif" 0.90 60.0 0.90 60.0
"FUN" 0.26 17.3 1.26 84.0
"lapply" 0.22 14.7 1.48 98.7
"^" 0.06 4.0 0.06 4.0
"sum" 0.04 2.7 0.04 2.7
"unlist" 0.02 1.3 0.24 16.0
"montecarlo_vec" 0.00 0.0 1.50 100.0
"my.prof" 0.00 0.0 1.50 100.0
"replicate" 0.00 0.0 1.50 100.0
"sapply" 0.00 0.0 1.50 100.0
"unique" 0.00 0.0 0.22 14.7
>>>
unlistやlapplyが出てきている。replicate は sapply とほとんど同じ。sapply = lapply + unlist っぽいのでそこがボトルネックになっているのだろう。ここはあとでソース確認したいが、どうやってみるんだっけ? さらに runifが繰り返されているので遅くなる。

乱数のマトリックスを先に作っておくバージョン
<<<
$by.self
self.time self.pct total.time total.pct
"runif" 0.04 50 0.04 50
"montecarlo_vec2" 0.02 25 0.08 100
"+" 0.02 25 0.02 25
"my.prof" 0.00 0 0.08 100
"as.vector" 0.00 0 0.04 50
"matrix" 0.00 0 0.04 50
>>>
runifの繰り返しがなくなったので速くなっている。

乱数のベクターを2つ用意しておくバージョンを見てみる。
<<<
$by.self
self.time self.pct total.time total.pct
"^" 0.02 50 0.02 50
"runif" 0.02 50 0.02 50
"montecarlo_vec3" 0.00 0 0.04 100
"my.prof" 0.00 0 0.04 100
>>>
一見、2回 runif したほうが matrix をつくるよりもましに見える。ところが良くわからないのが、マトリックスをつくる部分が遅いのか、それとも添字でカラムを取り出しているところが遅いのか? というところ。 まずはマトリックス作成が遅いのか調べてみよう。
<<<
> vec <- function(n) {
+ x <- runif(n)
+ y <- runif(n)
+ }
>
> mat1 <- function(n) {
+ x <- runif(n*2)
+ }
>
> mat2 <- function(n) {
+ x <- matrix(runif(n*2), ncol=2)
+ }
>
> mat3 <- function(n) {
+ x <- runif(n*2)
+ y <- matrix(x, ncol=2)
+ }
>
> my.prof <- function(x) {
+ Rprof()
+ x
+ Rprof(NULL)
+ print( summaryRprof() )
+ }
>
> my.prof( vec(1000000) )
$by.self
self.time self.pct total.time total.pct
"runif" 0.22 100 0.22 100
"my.prof" 0.00 0 0.22 100
"vec" 0.00 0 0.22 100

$by.total
total.time total.pct self.time self.pct
"runif" 0.22 100 0.22 100
"my.prof" 0.22 100 0.00 0
"vec" 0.22 100 0.00 0

$sampling.time
[1] 0.22

> my.prof( mat1(1000000) )
$by.self
self.time self.pct total.time total.pct
"runif" 0.2 100 0.2 100
"mat1" 0.0 0 0.2 100
"my.prof" 0.0 0 0.2 100

$by.total
total.time total.pct self.time self.pct
"runif" 0.2 100 0.2 100
"mat1" 0.2 100 0.0 0
"my.prof" 0.2 100 0.0 0

$sampling.time
[1] 0.2

> my.prof( mat2(1000000) )
$by.self
self.time self.pct total.time total.pct
"runif" 0.20 66.7 0.20 66.7
"matrix" 0.06 20.0 0.30 100.0
"as.vector" 0.04 13.3 0.24 80.0
"mat2" 0.00 0.0 0.30 100.0
"my.prof" 0.00 0.0 0.30 100.0

$by.total
total.time total.pct self.time self.pct
"matrix" 0.30 100.0 0.06 20.0
"mat2" 0.30 100.0 0.00 0.0
"my.prof" 0.30 100.0 0.00 0.0
"as.vector" 0.24 80.0 0.04 13.3
"runif" 0.20 66.7 0.20 66.7

$sampling.time
[1] 0.3

> my.prof( mat3(1000000) )
$by.self
self.time self.pct total.time total.pct
"runif" 0.20 76.9 0.20 76.9
"matrix" 0.04 15.4 0.06 23.1
"as.vector" 0.02 7.7 0.02 7.7
"mat3" 0.00 0.0 0.26 100.0
"my.prof" 0.00 0.0 0.26 100.0

$by.total
total.time total.pct self.time self.pct
"mat3" 0.26 100.0 0.00 0.0
"my.prof" 0.26 100.0 0.00 0.0
"runif" 0.20 76.9 0.20 76.9
"matrix" 0.06 23.1 0.04 15.4
"as.vector" 0.02 7.7 0.02 7.7

$sampling.time
[1] 0.26
>>>
あれ? matrixのほうが速い? これは添字でカラムを取り出しているところが遅いに違いない。
<<<
vec <- function(n) {
x <- runif(n)
y <- runif(n)
x^2
}

mat1 <- function(n) {
x <- matrix(runif(n*2), ncol=2)
x[1,]^2
}

> my.prof( vec(1000000) )
$by.self
self.time self.pct total.time total.pct
"runif" 0.22 78.6 0.22 78.6
"^" 0.06 21.4 0.06 21.4
"my.prof" 0.00 0.0 0.28 100.0
"vec" 0.00 0.0 0.28 100.0

$by.total
total.time total.pct self.time self.pct
"my.prof" 0.28 100.0 0.00 0.0
"vec" 0.28 100.0 0.00 0.0
"runif" 0.22 78.6 0.22 78.6
"^" 0.06 21.4 0.06 21.4

$sampling.time
[1] 0.28

> my.prof( mat1(1000000) )
$by.self
self.time self.pct total.time total.pct
"runif" 0.20 66.7 0.20 66.7
"matrix" 0.06 20.0 0.30 100.0
"as.vector" 0.04 13.3 0.24 80.0
"mat1" 0.00 0.0 0.30 100.0
"my.prof" 0.00 0.0 0.30 100.0

$by.total
total.time total.pct self.time self.pct
"matrix" 0.30 100.0 0.06 20.0
"mat1" 0.30 100.0 0.00 0.0
"my.prof" 0.30 100.0 0.00 0.0
"as.vector" 0.24 80.0 0.04 13.3
"runif" 0.20 66.7 0.20 66.7

$sampling.time
[1] 0.3
>>>
as.vectorの部分が遅くなっている。原因はこれか。ということは列和をベクトル演算する関数colSums()使えば速くなるかも! colSums忘れてたorz... しかも2乗もベクトル演算しちゃうよ。
<<<
montecarlo_vec4 <- function(n) {
y <- matrix(runif(n*2),nrow=2)
4*sum(colSums(y^2) < 1)/n
}

[1] 1.4855 # for
[1] 1.5224 # replicate
[1] 0.0482 # matrix
[1] 0.0138 # vector
[1] 0.0379 # matrix + colSums
>>>
くっ、届かないか。Rprofしてみるとas.vectorが縮まってない >< 単純に足し算は速くなったという感じ。

結論: マトリックスにカラムごとにアクセスするぐらいなら、2つのベクターを使ったほうが良い。colSumsとかでも追いつかない><

コメント

コメントを投稿

このブログの人気の投稿

シーケンスアダプタ配列除去ツールまとめ

FASTQ/A file からシーケンスアダプター配列やプライマー配列を除くためのプログラムをまとめてみる。 まず、配列の除去には大別して2つの方向性がある。ひとつは、アダプター配列を含む「リード」を除いてしまう方法。もうひとつは除きたい配列をリードからトリムする方法である。後者のほうが有効リードが増えるメリットが、綺麗に除ききれない場合は、ゲノムへのマップ率が下がる。 気をつける点としては、アダプター/プライマーの reverse complement を検索するかどうか。paired end の際には大事になる。クオリティでトリムできるものや、Paired-end を考慮するものなどもある。アダプター/プライマー配列の文字列を引数として直接入力するものと、multi fasta 形式で指定できるももある。 From Evernote: シーケンスアダプタ配列除去ツールまとめ TagDust http://genome.gsc.riken.jp/osc/english/software/src/nexalign-1.3.5.tgz http://bioinformatics.oxfordjournals.org/content/25/21/2839.full インストール: curl -O http://genome.gsc.riken.jp/osc/english/software/src/tagdust.tgztar zxvf tagdust.tgz cd tagdust/ make sudo make install rehash 使いかた: tagdust adapter.fasta input.fastq -fdr 0.05 -o output.clean.fastq -a output.artifactual.fastq 解説: 入出力形式は fastq/a が使える。リード全体を除く。速い。アダプター配列を fasta 形式で入力できるのが地味に便利で、これに対応しているものがなかなかない。Muth–Manber algorithm (Approximate multiple
2 件のコメント
続きを読む

ChIP-seq の Peak calling tool を集めたよ

ほかにもあったら教えてください。プログラム/プロジェクト名がツールのプロジェクトサイトへのリンク。その論文タイトルは論文へのリンクになっています。 ツール名の50音順です。 CCCT -  A signal–noise model for significance analysis of ChIP-seq with negative control , chipdiff と同じグループ CisGenome -  CisGenome: An integrated software system for analyzing ChIP-chip and ChIP-seq data . ChromSig -  ChromaSig: a probabilistic approach to finding common chromatin signatures in the human genome. ChIPDiff -  An HMM approach to genome-wide identification of differential histone modification sites from ChIP-seq data ChIP-Seq Analysis Server FindPeaks -  FindPeaks 3.1: a tool for identifying areas of enrichment from massively parallel short-read sequencing technology. Version 4.0 is out. GLITR -  Extracting transcription factor targets from ChIP-Seq data HPeak -  HPeak: an HMM-based algorithm for defining read-enriched regions in ChIP-Seq data MACS -  Model-based Analysis of ChIP-Seq (MACS). PeakSeq -  PeakSeq enables systematic scoring of ChIP-seq experimen
コメントを投稿
続きを読む

ふりかえり

2013年4月に独立して7年目が終わろうとしている。ざっくりこれまでの研究を振り返る。 2013年から2017年の4年はフルスタックのゲノム科学、ゲノムインフォのラボを立ち上げることに集中していた。しかも人様が作った技術のユーザとして研究するのではなく、新しい技術を開発できるラボを目指した。ウェットの開発については、ドライのPIであっても本物を創りたいと考えたので世界最強や唯一の技術を目指した。特に1細胞ゲノム科学に注力した。そのためにまずグラントを取り仲間を集め技術を作った。幸いウェットは元同僚を中心に、ドライはドクター新卒の優秀な人材に囲まれた。並行して開発した実験やデータ解析技術を応用するため、データ生産や共同研究を支えるチームも作った。 2015年ぐらいからドライの論文が少しずつ出始め、2018年にはウェットのフラッグシップとなる技術RamDA-seqとQuartz-Seq2の2つ出版された。2021年1月現在、これらはそれぞれ世界唯一と世界最高性能の2冠である。これが達成できた大きな理由のひとつは、反応原理を徹底的に理解し制御するというチームやそのメンバーの特性にある。ここは世界最高レベルだと確信している。 2017-2018年はラボの移転がありウェットの開発や実験が大きく停滞した。その間ドライのチームががんばってくれて2019-2020年にはドライ研究の収穫の時期がきた。またRamDA-seqの試薬キット化・装置化、Quartz-Seq2とそのデータ解析技術での起業、実験試薬や道具の上市など社会実装の年でもあった。実験が少なくなった分、ウェットのメンバーの解析技術がかなり向上した時期でもある。これはウェットとドライがうまくコミュニケーションできる証拠でもある。 2019-2020年はウェット技術のフラッグシップを駆使した共同研究がいくつか花咲いた。主に「再生医療分野」への応用と「細胞ゆらぎと転写制御の謎」に迫る基礎的なテーマが対象で、もともと1細胞ゲノム科学を始めたときに目標としたものだった。 並行してゲノムデータの科学計算環境のインフラ開発に注力してきた。beowulf型PCクラスタからクラウドの移行やハイブリッド化、DevOpsによる自動構築、ワークフロー言語の導入、動的レポート生成などの導入・開発を行いこれらを日常的に使うラボになった。これらはNI
コメントを投稿
続きを読む