程序處理上百萬上千萬數(shù)據(jù)時(shí)？

在應(yīng)用層面, 必須要將上千萬的數(shù)據(jù)載入內(nèi)存使用的情況, 根據(jù)不同的應(yīng)用目的, 可以采用memcached或mongoDB這樣的采用對(duì)象集合實(shí)現(xiàn)的非關(guān)系型數(shù)據(jù)庫系統(tǒng). 千萬行數(shù)據(jù)的規(guī)模, 也能夠提供毫秒級(jí)的存取.

在數(shù)據(jù)庫層面, 為提高性能將數(shù)據(jù)分割是比較常用的手段. 根據(jù)不同的情況, 使用日期, 應(yīng)用主體等等維度來分割數(shù)據(jù)表.

在架構(gòu)層面, 對(duì)單點(diǎn)無法負(fù)載的應(yīng)用, 需要針對(duì)不同情況, 根據(jù)不同的維度對(duì)應(yīng)用進(jìn)行垂直分割, 或水平分割, 或綜合使用. 簡(jiǎn)單來說, 垂直分割就是根據(jù)應(yīng)用主體, 將所有應(yīng)用功能憑據(jù)分布到多個(gè)節(jié)點(diǎn), 實(shí)現(xiàn)負(fù)載平均, 好處是易于擴(kuò)展. 水平分割就是根據(jù)應(yīng)用模塊, 將應(yīng)用拆分成多個(gè)節(jié)點(diǎn), 好處是可以有針對(duì)性靈活部署.

以上說的只是一些優(yōu)化建議, 請(qǐng)?jiān)敿?xì)描述你的應(yīng)用情況, 才能給出針對(duì)性的方案.

如果你只需要解決應(yīng)用層面的問題, 我實(shí)在是想象不出有什么情況需要將這么大規(guī)模的數(shù)據(jù)全部載入內(nèi)存操作.