厳しい条件をクリアできるか

仕事で久しぶりにガッツリとプログラムを組むことになっているのだけど、速度要件が厳しい。4〜5万件のCSVを読み込んで加工して入力と同じ件数で出力する。その加工はDB操作をしないと厳しい内容。それに加え実行する端末のスペックが32ビットマシンのメモリ4GBとのこと。CPUもあまり期待できないこの条件下で20分程度の処理時間を期待するとのこと。

CSVにエラーがない前提であれば難しくないけど、当然エラーの考慮をしなくてはいけないのでbulkinsertは使えない。multipleとコミットわうまく組み合わせてやるのがいいと思うんだけど、今まで必要に迫られることがなく、経験値がない部分なのでどの程度の結果を期待できるのか不明。

不安要素がいろいろあるけど、机上で考えるフェーズは終わっているフェーズなので、ざっくりと骨組みを作ってレスポンスが1番よくなる方法を試してみるしかなさそうです。結果をあとでまとめたいとこだけど、気力が持つかもわからない。終わった時に元気が残っていればどこかへアップしようと思います。