転送速度を求めて
AWSのS3とローカルの間で数万ファイルのやりとりをするんだけど、速度がでなくて困っている。 アップロードはCLIでそれなりの速度が出ているけど、ダウンロードが全然だめで昨日はとりあえず帰りに処理を流して次の日にどこまで進んでいるか確認するというレベル。とても終わるとは思えない速度だった。 そのため、速度を上げるために手を打たないといけない。
- 指定の方法が悪い
- 組み込むツールを変える
- バケットへアップするときの名前を変える(インデックスでの検索が早くなるように考慮する)
対応方法としてはざっとこんなところですが、とりあえず最初の2つをやってみようと思う。3つ目は環境整備を待っていて、今は間借りしているので手をつけれない状況。
amzonのサイトからコードの参考はピックアップしているので、組み込んでどのくらい速度が出るかためすところです。
結果を見ないとなんとも言えないのが辛い。結果が出たらシェアしようと思います。