Java互聯(lián)網(wǎng)開發(fā)涉及的高并發(fā)和大數(shù)據(jù)業(yè)務(wù)都有什么技術(shù)？

你這問題就大咯。高并發(fā)和大數(shù)據(jù)看上去相似，其實(shí)并不是同一個(gè)東西高并發(fā)設(shè)計(jì)的技術(shù)：nginx，zookeeper,dubbo,springcloud,lvs,cdn等等。大數(shù)據(jù)技術(shù)：考慮的更多的是數(shù)據(jù)的存取與分析，有hadoop,spark,strom,hbase,hive,flume, sqoop等等涉及的技術(shù)太多太多，不同公司采用的框架技術(shù)并不相同，單單把這些技術(shù)羅列出來，我想并不能解決你問題吧。其實(shí)你可以思考一下整個(gè)過程1.首先一個(gè)在線商城web項(xiàng)目，用了tomcat,就用了數(shù)據(jù)源等等。2.突然一天項(xiàng)目做起來了，一個(gè)tomcat好像不夠用了，你用了nginx做轉(zhuǎn)發(fā)，但一個(gè)nginx好像死機(jī)就完蛋了，你又用了keepalived,讓一個(gè)nginx掛了還有另外一個(gè)能頂替。3.項(xiàng)目越來越火，服務(wù)器越來越多，每次都需要修改nginx配置文件，你發(fā)現(xiàn)zookeeper挺火的，而且每次有新服務(wù)器只需把服務(wù)器地址注冊(cè)到zookeeper就好，但你得自己寫代碼，挺麻煩的，誒，不是有個(gè)現(xiàn)成的dubbo可以用嗎？這樣你用上了dubbo。4.項(xiàng)目愈來愈大，你要上市了，突然你想提升用戶體驗(yàn)，你把一些靜態(tài)頁面和后端動(dòng)態(tài)頁面完全分離，把一些靜態(tài)資源交給cdn提供商，在深圳的客戶訪問的就是深圳的cdn，在北京的就訪問北京的cdn，真好。【以上講的是高并發(fā)】5. 項(xiàng)目終于上市了，為了把市場(chǎng)繼續(xù)做大，你想分析下用戶的習(xí)慣，每天都有好幾萬的注冊(cè)用戶來看你的網(wǎng)站，你把他們?cè)L問記錄都通過日志數(shù)據(jù)記錄存儲(chǔ)了下來，但是這每天幾個(gè)TB甚至PB的數(shù)據(jù)怎么存放呢？又怎么分析了？你用上了hadoop機(jī)群，雇傭了一幫程序員寫幫你把日志文件歸檔存放到hdfs上，另外一幫子程序員寫mapreduce來分析各種用戶習(xí)慣。6. 這套又用了一段時(shí)間，你發(fā)現(xiàn)mapreduce太麻煩，而要分析的指標(biāo)又太多，你用上了hive,可以直接寫sql來做mapreduce。7. 可是隨著項(xiàng)目繼續(xù)發(fā)展，mapreduce太慢，你想馬上就獲得短時(shí)間的即時(shí)數(shù)據(jù)，你用了strom。8. .........................【以上討論的是大數(shù)據(jù)】 這故事你可以一直說下去，但講到這里，你對(duì)一些常見的大數(shù)據(jù)、高并發(fā)技術(shù)應(yīng)該有了一定的理解，知道一些什么場(chǎng)景會(huì)用到。這些技術(shù)真沒有哪個(gè)好，哪個(gè)壞的一說，整個(gè)過程你都可以看出是業(yè)務(wù)驅(qū)動(dòng)著技術(shù)的更新的。合適就好。希望我的回答能幫助到你！關(guān)注是為了再一次的交流，戳一戳右上角的關(guān)注吧！