少し前からオフィスの近くで大阪風のお好み焼きを提供するお店を探しているのですが、どうも広島風の赤いお店が多い気がします。
外付けHDDからのコピーに失敗することがある
ところで、弊社では日々お客様からのデータを受け取り、解析をしています。その際、データを受け取ると、まずは解析サーバにデータをコピーします。サイズはまちまちですが、ゲノムデータなどの大きいデータのコピーはよく失敗してしまいます。特に、USB3.0が使えるなど、高速転送できるときに遭遇する気がします。
そんな時は、せっかくの高速転送ですが、諦めて転送速度を落としてあげると正常にコピーできることが多いです。
rsyncで転送速度を落としてコピー
Linux上でのデータのコピーは、cpコマンドを使うことが多いと思います。ですが、少し複雑なことをしようとするとrsyncを使うことになります。基本的な使い方はcpと同じですが、オプションが豊富に用意されています。例えば、データコピー時に権限や所有者、タイムスタンプなどをそのままにしてコピーするときに使う
-aオプションは、-rlptgoDとオプション指定した場合と同義になります。つまりこれらを分割することもできるということです。僕は、コピー状況を確認するために-vをつけたり、-hを付けて読みやすい単位でファイルサイズを表示させたりして使用しています。さて、表題の転送速度を落とすオプションは以下です。
--bwlimit：転送速度（KB/s）を指定--bwlimit 10000とすれば、10MB/sで転送されます。/mnt/hdd/sampleA_R1.fastqがあったとしてカレントディレクトリへのコピーは以下のようにします。$ rsync --avh --bwlimit 10000 /mnt/hdd/sampleA_R1.fastq ./