java高并發(fā)情況下sychronized有什么問題?
為了更好的理解并發(fā)和同步,我們需要先明白兩個(gè)重要的概念:同步和異步
1、同步和異步的區(qū)別和聯(lián)系
所謂同步,可以理解為在執(zhí)行完一個(gè)函數(shù)或方法之后,一直等待系統(tǒng)返回值或消息,這時(shí)程序是出于阻塞的,只有接收到
返回的值或消息后才往下執(zhí)行其它的命令。
異步,執(zhí)行完函數(shù)或方法后,不必阻塞性地等待返回值或消息,只需要向系統(tǒng)委托一個(gè)異步過程,那么當(dāng)系統(tǒng)接收到返回
值或消息時(shí),系統(tǒng)會(huì)自動(dòng)觸發(fā)委托的異步過程,從而完成一個(gè)完整的流程。
同步在一定程度上可以看做是單線程,這個(gè)線程請(qǐng)求一個(gè)方法后就待這個(gè)方法給他回復(fù),否則他不往下執(zhí)行(死心眼)。
異步在一定程度上可以看做是多線程的(廢話,一個(gè)線程怎么叫異步),請(qǐng)求一個(gè)方法后,就不管了,繼續(xù)執(zhí)行其他的方法。
同步就是一件事,一件事情一件事的做。 異步就是,做一件事情,不引響做其他事情。
例如:吃飯和說話,只能一件事一件事的來,因?yàn)橹挥幸粡堊臁? 但吃飯和聽音樂是異步的,因?yàn)椋犚魳凡⒉灰懳覀兂燥垺?/p>
對(duì)于Java程序員而言,我們會(huì)經(jīng)常聽到同步關(guān)鍵字synchronized,假如這個(gè)同步的監(jiān)視對(duì)象是類的話,那么如果當(dāng)一個(gè)對(duì)象
訪問類里面的同步方法的話,那么其它的對(duì)象如果想要繼續(xù)訪問類里面的這個(gè)同步方法的話,就會(huì)進(jìn)入阻塞,只有等前一個(gè)對(duì)象
執(zhí)行完該同步方法后當(dāng)前對(duì)象才能夠繼續(xù)執(zhí)行該方法。這就是同步。相反,如果方法前沒有同步關(guān)鍵字修飾的話,那么不同的對(duì)象
可以在同一時(shí)間訪問同一個(gè)方法,這就是異步。
在補(bǔ)充一下(臟數(shù)據(jù)和不可重復(fù)讀的相關(guān)概念):
臟數(shù)據(jù)
臟讀就是指當(dāng)一個(gè)事務(wù)正在訪問數(shù)據(jù),并且對(duì)數(shù)據(jù)進(jìn)行了修改,而這種修改還沒有提交到數(shù)據(jù)庫中,這時(shí),另外一個(gè)事務(wù)也訪問這個(gè)數(shù)據(jù),然后使用了這個(gè)數(shù)據(jù)。因?yàn)檫@個(gè)數(shù)據(jù)是還沒有提交的數(shù)據(jù),那么另外一個(gè)事務(wù)讀到的這個(gè)數(shù)據(jù)是臟數(shù)據(jù)(Dirty Data),依據(jù)臟數(shù)據(jù)所做的操作可能是不正確的。 不可重復(fù)讀 不可重復(fù)讀是指在一個(gè)事務(wù)內(nèi),多次讀同一數(shù)據(jù)。在這個(gè)事務(wù)還沒有結(jié)束時(shí),另外一個(gè)事務(wù)也訪問該同一數(shù)據(jù)。那么,在第一個(gè)事務(wù)中的兩次讀數(shù)據(jù)之間,由于第二個(gè)事務(wù)的修改,那么第一個(gè)事務(wù)兩次讀到的數(shù)據(jù)可能是不一樣的。這樣就發(fā)生了在一個(gè)事務(wù)內(nèi)兩次讀到的數(shù)據(jù)是不一樣的,因此稱為是不可重復(fù)讀2、如何處理并發(fā)和同步
今天講的如何處理并發(fā)和同同步問題主要是通過鎖機(jī)制。
我們需要明白,鎖機(jī)制有兩個(gè)層面。
一種是代碼層次上的,如java中的同步鎖,典型的就是同步關(guān)鍵字synchronized,這里我不在做過多的講解,
感興趣的可以參考:http://www.cnblogs.com/xiohao/p/4151408.html
另外一種是數(shù)據(jù)庫層次上的,比較典型的就是悲觀鎖和樂觀鎖。這里我們重點(diǎn)講解的就是悲觀鎖(傳統(tǒng)的物理鎖)和樂觀鎖。
悲觀鎖(Pessimistic Locking):
悲觀鎖,正如其名,它指的是對(duì)數(shù)據(jù)被外界(包括本系統(tǒng)當(dāng)前的其他事務(wù),以及來自 外部系統(tǒng)的事務(wù)處理)修改持保守態(tài)度,因此,
在整個(gè)數(shù)據(jù)處理過程中,將數(shù)據(jù)處于鎖定狀態(tài)。
悲觀鎖的實(shí)現(xiàn),往往依靠數(shù)據(jù)庫提供的鎖機(jī)制(也只有數(shù)據(jù)庫層提供的鎖機(jī)制才能 真正保證數(shù)據(jù)訪問的排他性,否則,即使在本系統(tǒng)
中實(shí)現(xiàn)了加鎖機(jī)制,也無法保證外部系 統(tǒng)不會(huì)修改數(shù)據(jù))。
一個(gè)典型的倚賴數(shù)據(jù)庫的悲觀鎖調(diào)用:
select * from account where name=”Erica” for update
這條 sql 語句鎖定了 account 表中所有符合檢索條件( name=”Erica” )的記錄。
本次事務(wù)提交之前(事務(wù)提交時(shí)會(huì)釋放事務(wù)過程中的鎖),外界無法修改這些記錄。 Hibernate 的悲觀鎖,也是基于數(shù)據(jù)庫的鎖機(jī)制實(shí)現(xiàn)。 下面的代碼實(shí)現(xiàn)了對(duì)查詢記錄的加鎖:
String hqlStr ="from TUser as user where user.name='Erica'";
Query query = session.createQuery(hqlStr);
query.setLockMode("user",LockMode.UPGRADE); // 加鎖
List userList = query.list();// 執(zhí)行查詢,獲取數(shù)據(jù)
query.setLockMode 對(duì)查詢語句中,特定別名所對(duì)應(yīng)的記錄進(jìn)行加鎖(我們?yōu)?TUser 類指定了一個(gè)別名 “user” ),這里也就是對(duì)
返回的所有 user 記錄進(jìn)行加鎖。
觀察運(yùn)行期 Hibernate 生成的 SQL 語句: select tuser0_.id as id, tuser0_.name as name, tuser0_.group_id as group_id, tuser0_.user_type as user_type, tuser0_.sex as sex from t_user tuser0_ where (tuser0_.name='Erica' ) for update 這里 Hibernate 通過使用數(shù)據(jù)庫的 for update 子句實(shí)現(xiàn)了悲觀鎖機(jī)制。 Hibernate 的加鎖模式有: ? LockMode.NONE : 無鎖機(jī)制。 ? LockMode.WRITE : Hibernate 在 Insert 和 Update 記錄的時(shí)候會(huì)自動(dòng)獲取 ? LockMode.READ : Hibernate 在讀取記錄的時(shí)候會(huì)自動(dòng)獲取。 以上這三種鎖機(jī)制一般由 Hibernate 內(nèi)部使用,如 Hibernate 為了保證 Update 過程中對(duì)象不會(huì)被外界修改,會(huì)在 save 方法實(shí)現(xiàn)中自動(dòng)為目標(biāo)對(duì)象加上 WRITE 鎖。 ? LockMode.UPGRADE :利用數(shù)據(jù)庫的 for update 子句加鎖。 ? LockMode. UPGRADE_NOWAIT : Oracle 的特定實(shí)現(xiàn),利用 Oracle 的 for update nowait 子句實(shí)現(xiàn)加鎖。 上面這兩種鎖機(jī)制是我們?cè)趹?yīng)用層較為常用的,加鎖一般通過以下方法實(shí)現(xiàn): Criteria.setLockMode Query.setLockMode Session.lock 注意,只有在查詢開始之前(也就是 Hiberate 生成 SQL 之前)設(shè)定加鎖,才會(huì) 真正通過數(shù)據(jù)庫的鎖機(jī)制進(jìn)行加鎖處理,否則,數(shù)據(jù)已經(jīng)通過不包含 for update 子句的 Select SQL 加載進(jìn)來,所謂數(shù)據(jù)庫加鎖也就無從談起。
為了更好的理解select... for update的鎖表的過程,本人將要以mysql為例,進(jìn)行相應(yīng)的講解
1、要測(cè)試鎖定的狀況,可以利用MySQL的Command Mode ,開二個(gè)視窗來做測(cè)試。
表的基本結(jié)構(gòu)如下:
表中內(nèi)容如下:
開啟兩個(gè)測(cè)試窗口,在其中一個(gè)窗口執(zhí)行select * from ta for update0
然后在另外一個(gè)窗口執(zhí)行update操作如下圖:
等到一個(gè)窗口commit后的圖片如下:
到這里,悲觀鎖機(jī)制你應(yīng)該了解一些了吧~
需要注意的是for update要放到mysql的事務(wù)中,即begin和commit中,否者不起作用。
至于是鎖住整個(gè)表還是鎖住選中的行,請(qǐng)參考:
http://www.cnblogs.com/xiohao/p/4385768.html
至于hibernate中的悲觀鎖使用起來比較簡(jiǎn)單,這里就不寫demo了~感興趣的自己查一下就ok了~
樂觀鎖(Optimistic Locking): 相對(duì)悲觀鎖而言,樂觀鎖機(jī)制采取了更加寬松的加鎖機(jī)制。悲觀鎖大多數(shù)情況下依 靠數(shù)據(jù)庫的鎖機(jī)制實(shí)現(xiàn),以保證操作最大程度的獨(dú)占性。但隨之
而來的就是數(shù)據(jù)庫 性能的大量開銷,特別是對(duì)長(zhǎng)事務(wù)而言,這樣的開銷往往無法承受。 如一個(gè)金融系統(tǒng),當(dāng)某個(gè)操作員讀取用戶的數(shù)據(jù),并在讀出的用戶數(shù)
據(jù)的基礎(chǔ)上進(jìn) 行修改時(shí)(如更改用戶帳戶余額),如果采用悲觀鎖機(jī)制,也就意味著整個(gè)操作過 程中(從操作員讀出數(shù)據(jù)、開始修改直至提交修改結(jié)果的全
過程,甚至還包括操作 員中途去煮咖啡的時(shí)間),數(shù)據(jù)庫記錄始終處于加鎖狀態(tài),可以想見,如果面對(duì)幾 百上千個(gè)并發(fā),這樣的情況將導(dǎo)致怎樣的后果。 樂
觀鎖機(jī)制在一定程度上解決了這個(gè)問題。
樂觀鎖,大多是基于數(shù)據(jù)版本 Version )記錄機(jī)制實(shí)現(xiàn)。何謂數(shù)據(jù)版本?即為數(shù)據(jù)增加一個(gè)版本標(biāo)識(shí),在基于數(shù)據(jù)庫表的版本解決方案中,一般是通
過為數(shù)據(jù)庫表增加一個(gè) “version” 字段來 實(shí)現(xiàn)。 讀取出數(shù)據(jù)時(shí),將此版本號(hào)一同讀出,之后更新時(shí),對(duì)此版本號(hào)加一。此時(shí),將提 交數(shù)據(jù)的版本數(shù)據(jù)與數(shù)據(jù)
庫表對(duì)應(yīng)記錄的當(dāng)前版本信息進(jìn)行比對(duì),如果提交的數(shù)據(jù) 版本號(hào)大于數(shù)據(jù)庫表當(dāng)前版本號(hào),則予以更新,否則認(rèn)為是過期數(shù)據(jù)。對(duì)于上面修改用戶帳戶信息
的例子而言,假設(shè)數(shù)據(jù)庫中帳戶信息表中有一個(gè) version 字段,當(dāng)前值為 1 ;而當(dāng)前帳戶余額字段( balance )為 $100 。操作員 A 此時(shí)將其讀出
( version=1 ),并從其帳戶余額中扣除 $50( $100-$50 )。 2 在操作員 A 操作的過程中,操作員 B 也讀入此用戶信息( version=1 ),并 從其帳
戶余額中扣除 $20 ( $100-$20 )。 3 操作員 A 完成了修改工作,將數(shù)據(jù)版本號(hào)加一( version=2 ),連同帳戶扣 除后余額( balance=$50 ),提交
至數(shù)據(jù)庫更新,此時(shí)由于提交數(shù)據(jù)版本大 于數(shù)據(jù)庫記錄當(dāng)前版本,數(shù)據(jù)被更新,數(shù)據(jù)庫記錄 version 更新為 2 。 4 操作員 B 完成了操作,也將版本號(hào)加一
( version=2 )試圖向數(shù)據(jù)庫提交數(shù) 據(jù)( balance=$80 ),但此時(shí)比對(duì)數(shù)據(jù)庫記錄版本時(shí)發(fā)現(xiàn),操作員 B 提交的 數(shù)據(jù)版本號(hào)為 2 ,數(shù)據(jù)庫記錄當(dāng)前版
本也為 2 ,不滿足 “ 提交版本必須大于記 錄當(dāng)前版本才能執(zhí)行更新 “ 的樂觀鎖策略,因此,操作員 B 的提交被駁回。 這樣,就避免了操作員 B 用基于
version=1 的舊數(shù)據(jù)修改的結(jié)果覆蓋操作 員 A 的操作結(jié)果的可能。 從上面的例子可以看出,樂觀鎖機(jī)制避免了長(zhǎng)事務(wù)中的數(shù)據(jù)庫加鎖開銷(操作員 A
和操作員 B 操作過程中,都沒有對(duì)數(shù)據(jù)庫數(shù)據(jù)加鎖),大大提升了大并發(fā)量下的系 統(tǒng)整體性能表現(xiàn)。 需要注意的是,樂觀鎖機(jī)制往往基于系統(tǒng)中的數(shù)據(jù)存儲(chǔ)
邏輯,因此也具備一定的局 限性,如在上例中,由于樂觀鎖機(jī)制是在我們的系統(tǒng)中實(shí)現(xiàn),來自外部系統(tǒng)的用戶 余額更新操作不受我們系統(tǒng)的控制,因此可能
會(huì)造成臟數(shù)據(jù)被更新到數(shù)據(jù)庫中。在 系統(tǒng)設(shè)計(jì)階段,我們應(yīng)該充分考慮到這些情況出現(xiàn)的可能性,并進(jìn)行相應(yīng)調(diào)整(如 將樂觀鎖策略在數(shù)據(jù)庫存儲(chǔ)過程中實(shí)
現(xiàn),對(duì)外只開放基于此存儲(chǔ)過程的數(shù)據(jù)更新途 徑,而不是將數(shù)據(jù)庫表直接對(duì)外公開)。 Hibernate 在其數(shù)據(jù)訪問引擎中內(nèi)置了樂觀鎖實(shí)現(xiàn)。如果不用考慮外
部系統(tǒng)對(duì)數(shù) 據(jù)庫的更新操作,利用 Hibernate 提供的透明化樂觀鎖實(shí)現(xiàn),將大大提升我們的 生產(chǎn)力。
User.hbm.xml
<?xml version="1.0"?><!DOCTYPE hibernate-mapping PUBLIC "-//Hibernate/Hibernate Mapping DTD 3.0//EN" "http://hibernate.sourceforge.net/hibernate-mapping-3.0.dtd"> <hibernate-mapping package="com.xiaohao.test"> <class name="User" table="user" optimistic-lock="version" > <id name="id"> <generator class="native" /> </id> <!--version標(biāo)簽必須跟在id標(biāo)簽后面--> <version column="version" name="version" /> <property name="userName"/> <property name="password"/> </class> </hibernate-mapping>注意 version 節(jié)點(diǎn)必須出現(xiàn)在 ID 節(jié)點(diǎn)之后。 這里我們聲明了一個(gè) version 屬性,用于存放用戶的版本信息,保存在 User 表的version中 optimistic-lock 屬性有如下可選取值: ? none無樂觀鎖 ? version通過版本機(jī)制實(shí)現(xiàn)樂觀鎖 ? dirty通過檢查發(fā)生變動(dòng)過的屬性實(shí)現(xiàn)樂觀鎖 ? all通過檢查所有屬性實(shí)現(xiàn)樂觀鎖 其中通過 version 實(shí)現(xiàn)的樂觀鎖機(jī)制是 Hibernate 官方推薦的樂觀鎖實(shí)現(xiàn),同時(shí)也 是 Hibernate 中,目前唯一在數(shù)據(jù)對(duì)象脫離 Session 發(fā)生修改的情況下依然有效的鎖機(jī) 制。因此,一般情況下,我們都選擇 version 方式作為 Hibernate 樂觀鎖實(shí)現(xiàn)機(jī)制。
2 . 配置文件hibernate.cfg.xml和UserTest測(cè)試類
hibernate.cfg.xml
<!DOCTYPE hibernate-configuration PUBLIC "-//Hibernate/Hibernate Configuration DTD 3.0//EN" "http://hibernate.sourceforge.net/hibernate-configuration-3.0.dtd"> <hibernate-configuration><session-factory> <!-- 指定數(shù)據(jù)庫方言 如果使用jbpm的話,數(shù)據(jù)庫方言只能是InnoDB--> <property name="dialect">org.hibernate.dialect.MySQL5InnoDBDialect</property> <!-- 根據(jù)需要自動(dòng)創(chuàng)建數(shù)據(jù)表 --> <property name="hbm2ddl.auto">update</property> <!-- 顯示Hibernate持久化操作所生成的SQL --> <property name="show_sql">true</property> <!-- 將SQL腳本進(jìn)行格式化后再輸出 --> <property name="format_sql">false</property> <property name="current_session_context_class">thread</property> <!-- 導(dǎo)入映射配置 --> <property name="connection.url">jdbc:mysql:///user</property> <property name="connection.username">root</property> <property name="connection.password">123456</property> <property name="connection.driver_class">com.mysql.jdbc.Driver</property> <mapping resource="com/xiaohao/test/User.hbm.xml" /> </session-factory></hibernate-configuration>UserTest.java
package com.xiaohao.test; import org.hibernate.Session;import org.hibernate.SessionFactory;import org.hibernate.Transaction;import org.hibernate.cfg.Configuration; public class UserTest { public static void main(String[] args) { Configuration conf=new Configuration().configure(); SessionFactory sf=conf.buildSessionFactory(); Session session=sf.getCurrentSession(); Transaction tx=session.beginTransaction();// User user=new User("小浩","英雄");// session.save(user);// session.createSQLQuery("insert into user(userName,password) value('張英雄16','123')")// .executeUpdate(); User user=(User) session.get(User.class, 1); user.setUserName("221");// session.save(user); System.out.println("恭喜您,用戶的數(shù)據(jù)插入成功了哦~~"); tx.commit(); } }每次對(duì) TUser 進(jìn)行更新的時(shí)候,我們可以發(fā)現(xiàn),數(shù)據(jù)庫中的 version 都在遞增。
下面我們將要通過樂觀鎖來實(shí)現(xiàn)一下并發(fā)和同步的測(cè)試用例:
這里需要使用兩個(gè)測(cè)試類,分別運(yùn)行在不同的虛擬機(jī)上面,以此來模擬多個(gè)用戶同時(shí)操作一張表,同時(shí)其中一個(gè)測(cè)試類需要模擬長(zhǎng)事務(wù)
UserTest.java
package com.xiaohao.test; import org.hibernate.Session;import org.hibernate.SessionFactory;import org.hibernate.Transaction;import org.hibernate.cfg.Configuration; public class UserTest { public static void main(String[] args) { Configuration conf=new Configuration().configure(); SessionFactory sf=conf.buildSessionFactory(); Session session=sf.openSession();// Session session2=sf.openSession(); User user=(User) session.createQuery(" from User user where user=5").uniqueResult();// User user2=(User) session.createQuery(" from User user where user=5").uniqueResult(); System.out.println(user.getVersion());// System.out.println(user2.getVersion()); Transaction tx=session.beginTransaction(); user.setUserName("101"); tx.commit(); System.out.println(user.getVersion());// System.out.println(user2.getVersion());// System.out.println(user.getVersion()==user2.getVersion());// Transaction tx2=session2.beginTransaction();// user2.setUserName("4468");// tx2.commit(); } }UserTest2.java
package com.xiaohao.test; import org.hibernate.Session;import org.hibernate.SessionFactory;import org.hibernate.Transaction;import org.hibernate.cfg.Configuration; public class UserTest2 { public static void main(String[] args) throws InterruptedException { Configuration conf=new Configuration().configure(); SessionFactory sf=conf.buildSessionFactory(); Session session=sf.openSession();// Session session2=sf.openSession(); User user=(User) session.createQuery(" from User user where user=5").uniqueResult(); Thread.sleep(10000);// User user2=(User) session.createQuery(" from User user where user=5").uniqueResult(); System.out.println(user.getVersion());// System.out.println(user2.getVersion()); Transaction tx=session.beginTransaction(); user.setUserName("100"); tx.commit(); System.out.println(user.getVersion());// System.out.println(user2.getVersion());// System.out.println(user.getVersion()==user2.getVersion());// Transaction tx2=session2.beginTransaction();// user2.setUserName("4468");// tx2.commit(); } }操作流程及簡(jiǎn)單講解: 首先啟動(dòng)UserTest2.java測(cè)試類,在執(zhí)行到Thread.sleep(10000);這條語句的時(shí)候,當(dāng)前線程會(huì)進(jìn)入睡眠狀態(tài)。在10秒鐘之內(nèi)
啟動(dòng)UserTest這個(gè)類,在到達(dá)10秒的時(shí)候,我們將會(huì)在UserTest.java中拋出下面的異常:
Exception in thread "main" org.hibernate.StaleObjectStateException: Row was updated or deleted by another transaction (or unsaved-value mapping was incorrect): [com.xiaohao.test.User#5] at org.hibernate.persister.entity.AbstractEntityPersister.check(AbstractEntityPersister.java:1932) at org.hibernate.persister.entity.AbstractEntityPersister.update(AbstractEntityPersister.java:2576) at org.hibernate.persister.entity.AbstractEntityPersister.updateOrInsert(AbstractEntityPersister.java:2476) at org.hibernate.persister.entity.AbstractEntityPersister.update(AbstractEntityPersister.java:2803) at org.hibernate.action.EntityUpdateAction.execute(EntityUpdateAction.java:113) at org.hibernate.engine.ActionQueue.execute(ActionQueue.java:273) at org.hibernate.engine.ActionQueue.executeActions(ActionQueue.java:265) at org.hibernate.engine.ActionQueue.executeActions(ActionQueue.java:185) at org.hibernate.event.def.AbstractFlushingEventListener.performExecutions(AbstractFlushingEventListener.java:321) at org.hibernate.event.def.DefaultFlushEventListener.onFlush(DefaultFlushEventListener.java:51) at org.hibernate.impl.SessionImpl.flush(SessionImpl.java:1216) at org.hibernate.impl.SessionImpl.managedFlush(SessionImpl.java:383) at org.hibernate.transaction.JDBCTransaction.commit(JDBCTransaction.java:133) at com.xiaohao.test.UserTest2.main(UserTest2.java:21)UserTest2代碼將在 tx.commit() 處拋出 StaleObjectStateException 異 常,并指出版本檢查失敗,當(dāng)前事務(wù)正在試圖提交一個(gè)過期數(shù)據(jù)。通過捕捉這個(gè)異常,我 們就可以在樂觀鎖校驗(yàn)失敗時(shí)進(jìn)行相應(yīng)處理
3、常見并發(fā)同步案例分析
案例一:訂票系統(tǒng)案例,某航班只有一張機(jī)票,假定有1w個(gè)人打開你的網(wǎng)站來訂票,問你如何解決并發(fā)問題(可擴(kuò)展到任何高并發(fā)網(wǎng)站要考慮
的并發(fā)讀寫問題)
問題,1w個(gè)人來訪問,票沒出去前要保證大家都能看到有票,不可能一個(gè)人在看到票的時(shí)候別人就不能看了。到底誰能搶到,那得看這個(gè)人的“運(yùn)氣”(網(wǎng)
絡(luò)快慢等)
其次考慮的問題,并發(fā),1w個(gè)人同時(shí)點(diǎn)擊購(gòu)買,到底誰能成交?總共只有一張票。
首先我們?nèi)菀紫氲胶筒l(fā)相關(guān)的幾個(gè)方案 :
鎖同步同步更多指的是應(yīng)用程序的層面,多個(gè)線程進(jìn)來,只能一個(gè)一個(gè)的訪問,java中指的是syncrinized關(guān)鍵字。鎖也有2個(gè)層面,一個(gè)是java中談到的對(duì)
象鎖,用于線程同步;另外一個(gè)層面是數(shù)據(jù)庫的鎖;如果是分布式的系統(tǒng),顯然只能利用數(shù)據(jù)庫端的鎖來實(shí)現(xiàn)。
假定我們采用了同步機(jī)制或者數(shù)據(jù)庫物理鎖機(jī)制,如何保證1w個(gè)人還能同時(shí)看到有票,顯然會(huì)犧牲性能,在高并發(fā)網(wǎng)站中是不可取的。使用hibernate后我們
提出了另外一個(gè)概念:樂觀鎖、悲觀鎖(即傳統(tǒng)的物理鎖);
采用樂觀鎖即可解決此問題。樂觀鎖意思是不鎖定表的情況下,利用業(yè)務(wù)的控制來解決并發(fā)問題,這樣即保證數(shù)據(jù)的并發(fā)可讀性又保證保存數(shù)據(jù)的排他性,保
證性能的同時(shí)解決了并發(fā)帶來的臟數(shù)據(jù)問題。
hibernate中如何實(shí)現(xiàn)樂觀鎖:
前提:在現(xiàn)有表當(dāng)中增加一個(gè)冗余字段,version版本號(hào), long類型
原理:
1)只有當(dāng)前版本號(hào)》=數(shù)據(jù)庫表版本號(hào),才能提交
2)提交成功后,版本號(hào)version ++
實(shí)現(xiàn)很簡(jiǎn)單:在ormapping增加一屬性optimistic-lock="version"即可,以下是樣例片段
<hibernate-mapping><class name="com.insigma.stock.ABC" optimistic-lock="version" table="T_Stock" schema="STOCK">案例二、股票交易系統(tǒng)、銀行系統(tǒng),大數(shù)據(jù)量你是如何考慮的
首先,股票交易系統(tǒng)的行情表,每幾秒鐘就有一個(gè)行情記錄產(chǎn)生,一天下來就有(假定行情3秒一個(gè)) 股票數(shù)量×20×60*6 條記錄,一月下來這個(gè)表記錄數(shù)
量多大? oracle中一張表的記錄數(shù)超過100w后 查詢性能就很差了,如何保證系統(tǒng)性能?
再比如,中國(guó)移動(dòng)有上億的用戶量,表如何設(shè)計(jì)?把所有用于存在于一個(gè)表么?
所以,大數(shù)量的系統(tǒng),必須考慮表拆分-(表名字不一樣,但是結(jié)構(gòu)完全一樣),通用的幾種方式:(視情況而定)
1)按業(yè)務(wù)分,比如 手機(jī)號(hào)的表,我們可以考慮 130開頭的作為一個(gè)表,131開頭的另外一張表 以此類推
2)利用oracle的表拆分機(jī)制做分表
3)如果是交易系統(tǒng),我們可以考慮按時(shí)間軸拆分,當(dāng)日數(shù)據(jù)一個(gè)表,歷史數(shù)據(jù)弄到其它表。這里歷史數(shù)據(jù)的報(bào)表和查詢不會(huì)影響當(dāng)日交易。
當(dāng)然,表拆分后我們的應(yīng)用得做相應(yīng)的適配。單純的or-mapping也許就得改動(dòng)了。比如部分業(yè)務(wù)得通過存儲(chǔ)過程等
此外,我們還得考慮緩存
這里的緩存,指的不僅僅是hibernate,hibernate本身提供了一級(jí)二級(jí)緩存。這里的緩存獨(dú)立于應(yīng)用,依然是內(nèi)存的讀取,假如我們能減少數(shù)據(jù)庫頻繁的訪
問,那對(duì)系統(tǒng)肯定大大有利的。比如一個(gè)電子商務(wù)系統(tǒng)的商品搜索,如果某個(gè)關(guān)鍵字的商品經(jīng)常被搜,那就可以考慮這部分商品列表存放到緩存(內(nèi)存中
去),這樣不用每次訪問數(shù)據(jù)庫,性能大大增加。
簡(jiǎn)單的緩存大家可以理解為自己做一個(gè)hashmap,把常訪問的數(shù)據(jù)做一個(gè)key,value是第一次從數(shù)據(jù)庫搜索出來的值,下次訪問就可以從map里讀取,而不
讀數(shù)據(jù)庫;專業(yè)些的目前有獨(dú)立的緩存框架比如memcached 等,可獨(dú)立部署成一個(gè)緩存服務(wù)器。
4、常見的提高高并發(fā)下訪問的效率的手段
首先要了解高并發(fā)的的瓶頸在哪里?
1、可能是服務(wù)器網(wǎng)絡(luò)帶寬不夠
2.可能web線程連接數(shù)不夠
3.可能數(shù)據(jù)庫連接查詢上不去。
根據(jù)不同的情況,解決思路也不同。
像第一種情況可以增加網(wǎng)絡(luò)帶寬,DNS域名解析分發(fā)多臺(tái)服務(wù)器。
負(fù)載均衡,前置代理服務(wù)器nginx、apache等等
數(shù)據(jù)庫查詢優(yōu)化,讀寫分離,分表等等
最后復(fù)制一些在高并發(fā)下面需要常常需要處理的內(nèi)容:
盡量使用緩存,包括用戶緩存,信息緩存等,多花點(diǎn)內(nèi)存來做緩存,可以大量減少與數(shù)據(jù)庫的交互,提高性能。
用jprofiler等工具找出性能瓶頸,減少額外的開銷。
優(yōu)化數(shù)據(jù)庫查詢語句,減少直接使用hibernate等工具的直接生成語句(僅耗時(shí)較長(zhǎng)的查詢做優(yōu)化)。
優(yōu)化數(shù)據(jù)庫結(jié)構(gòu),多做索引,提高查詢效率。
統(tǒng)計(jì)的功能盡量做緩存,或按每天一統(tǒng)計(jì)或定時(shí)統(tǒng)計(jì)相關(guān)報(bào)表,避免需要時(shí)進(jìn)行統(tǒng)計(jì)的功能。
能使用靜態(tài)頁面的地方盡量使用,減少容器的解析(盡量將動(dòng)態(tài)內(nèi)容生成靜態(tài)html來顯示)。
解決以上問題后,使用服務(wù)器集群來解決單臺(tái)的瓶頸問題。
java高并發(fā),如何解決,什么方式解決
之前我將高并發(fā)的解決方法誤認(rèn)為是線程或者是隊(duì)列可以解決,因?yàn)楦卟l(fā)的時(shí)候是有很多用戶在訪問,導(dǎo)致出現(xiàn)系統(tǒng)數(shù)據(jù)不正確、丟失數(shù)據(jù)現(xiàn)象,所以想到 的是用隊(duì)列解決,其實(shí)隊(duì)列解決的方式也可以處理,比如我們?cè)诟?jìng)拍商品、轉(zhuǎn)發(fā)評(píng)論微博或者是秒殺商品等,同一時(shí)間訪問量特別大,隊(duì)列在此起到特別的作用,將 所有請(qǐng)求放入隊(duì)列,以毫秒計(jì)時(shí)單位,有序的進(jìn)行,從而不會(huì)出現(xiàn)數(shù)據(jù)丟失系統(tǒng)數(shù)據(jù)不正確的情況。
今天我經(jīng)過查資料,高并發(fā)的解決方法有倆種:
一種是使用緩存、另一種是使用生成靜態(tài)頁面;還有就是從最基礎(chǔ)的地方優(yōu)化我們寫代碼減少不必要的資源浪費(fèi):(
1.不要頻繁的new對(duì)象,對(duì)于在整個(gè)應(yīng)用中只需要存在一個(gè)實(shí)例的類使用單例模式.對(duì)于String的連接操作,使用StringBuffer或者StringBuilder.對(duì)于utility類型的類通過靜態(tài)方法來訪問。
2. 避免使用錯(cuò)誤的方式,如Exception可以控制方法推出,但是Exception要保留stacktrace消耗性能,除非必要不要使用 instanceof做條件判斷,盡量使用比的條件判斷方式.使用JAVA中效率高的類,比如ArrayList比Vector性能好。)
首先緩存技術(shù)我一直沒有使用過,我覺得應(yīng)該是在用戶請(qǐng)求時(shí)將數(shù)據(jù)保存在緩存中,下次請(qǐng)求時(shí)會(huì)檢測(cè)緩存中是否有數(shù)據(jù)存在,防止多次請(qǐng)求服務(wù)器,導(dǎo)致服務(wù)器性能降低,嚴(yán)重導(dǎo)致服務(wù)器崩潰,這只是我自己的理解,詳細(xì)的資料還是需要在網(wǎng)上收集;
使用生成靜態(tài)頁面我想大家應(yīng)該不模式,我們見過很多網(wǎng)站當(dāng)在請(qǐng)求的時(shí)候頁面的后最已經(jīng)變了,如“http://developer.51cto.com/art/201207/348766.htm”該頁面其實(shí)是一個(gè)服務(wù)器請(qǐng)求地址,在轉(zhuǎn)換成htm后,訪問速度將提升,因?yàn)殪o態(tài)頁面不帶有服務(wù)器組件;在這里我就多多介紹一下:
一、什么是頁面靜態(tài)化:
簡(jiǎn) 單的說,我們?nèi)绻L問一個(gè)鏈接 ,服務(wù)器對(duì)應(yīng)的模塊會(huì)處理這個(gè)請(qǐng)求,轉(zhuǎn)到對(duì)應(yīng)的jsp界面,最后生成我們想要看到的數(shù)據(jù)。這其中的缺點(diǎn)是顯而易見的:因?yàn)槊看握?qǐng)求服務(wù)器都會(huì)進(jìn)行處理,如 果有太多的高并發(fā)請(qǐng)求,那么就會(huì)加重應(yīng)用服務(wù)器的壓力,弄不好就把服務(wù)器 搞down 掉了。那么如何去避免呢?如果我們把對(duì) test.do 請(qǐng)求后的結(jié)果保存成一個(gè) html 文件,然后每次用戶都去訪問 ,這樣應(yīng)用服務(wù)器的壓力不就減少了?
那么靜態(tài)頁面從哪里來呢?總不能讓我們每個(gè)頁面都手動(dòng)處理吧?這里就牽涉到我們要講解的內(nèi)容了,靜態(tài)頁面生成方案… 我們需要的是自動(dòng)的生成靜態(tài)頁面,當(dāng)用戶訪問 ,會(huì)自動(dòng)生成 test.html ,然后顯示給用戶。
二、下面我們?cè)诤?jiǎn)單介紹一下要想掌握頁面靜態(tài)化方案應(yīng)該掌握的知識(shí)點(diǎn):
1、 基礎(chǔ)- URL Rewrite
什么是 URL Rewrite 呢 ? URL 重寫。用一個(gè)簡(jiǎn)單的例子來說明問題:輸入網(wǎng)址 ,但是實(shí)際上訪問的卻是 abc.com/test.action,那我們就可以說 URL 被重寫了。這項(xiàng)技術(shù)應(yīng)用廣泛,有許多開源的工具可以實(shí)現(xiàn)這個(gè)功能。
2、 基礎(chǔ)- Servlet web.xml
如果你還不知道 web.xml 中一個(gè)請(qǐng)求和一個(gè) servlet 是如何匹配到一起的,那么請(qǐng)搜索一下 servlet 的文檔。這可不是亂說呀,有很多人就認(rèn)為 /xyz/*.do 這樣的匹配方式能有效。
如果你還不知道怎么編寫一個(gè) servlet ,那么請(qǐng)搜索一下如何編寫 servlet.這可不是說笑呀,在各種集成工具漫天飛舞的今天,很多人都不會(huì)去從零編寫一個(gè) servlet了。
三、基本的方案介紹
其中,對(duì)于 URL Rewriter的部分,可以使用收費(fèi)或者開源的工具來實(shí)現(xiàn),如果 url不是特別的復(fù)雜,可以考慮在 servlet 中實(shí)現(xiàn),那么就是下面這個(gè)樣子: 總 結(jié):其實(shí)我們?cè)陂_發(fā)中都很少考慮這種問題,直接都是先將功能實(shí)現(xiàn),當(dāng)一個(gè)程序員在干到1到2年,就會(huì)感覺光實(shí)現(xiàn)功能不是最主要的,安全性能、質(zhì)量等等才是 一個(gè)開發(fā)人員最該關(guān)心的。今天我所說的是高并發(fā)。我的解決思路是:1、采用分布式應(yīng)用設(shè)計(jì)2、分布式緩存數(shù)據(jù)庫3、代碼優(yōu)化Java高并發(fā)的例子:
????????????????????????????????????????????????????????????????????????????????????
具體情況是這樣: 通過java和數(shù)據(jù)庫,自己實(shí)現(xiàn)序列自動(dòng)增長(zhǎng)。實(shí)現(xiàn)代碼大致如下: id_table表結(jié)構(gòu), 主要字段:
id_name varchar2(16); id_val number(16,0); id_prefix varchar2(4); //操作DB public synchronized String nextStringValue(String id){ SqlSession sqlSess = SqlSessionUtil.getSqlSession(); sqlSess.update("update id_table set id_val = id_val + 1 where id_name="+id); Map map = sqlSess.getOne("select id_name, id_prefix, id_val from id_table where id_name="+ id); BigDecimal val = (BigDecimal) map.get("id_val"); //id_val是具體數(shù)字,rePack主要是統(tǒng)一返回固定長(zhǎng)度的字符串;如:Y0000001, F0000001, T0000001等 String idValue = rePack(val, map); return idValue; } //公共方法public class IdHelpTool{ public static String getNextStringValue(String idName){ return getXX().nextStringValue(idName); } }具體使用者,都是通過類似這種方式:IdHelpTool.getNextStringValue("PAY_LOG");來調(diào)用。問題: (1) 當(dāng)出現(xiàn)并發(fā)時(shí), 有時(shí)會(huì)獲取重復(fù)的ID; (2) 由于服務(wù)器做了相關(guān)一些設(shè)置,有時(shí)調(diào)用這個(gè)方法,好像還會(huì)導(dǎo)致超時(shí)。 為了解決問題(1), 考慮過在方法getNextStringValue上,也加上synchronized , 同步關(guān)鍵字過多,會(huì)不會(huì)更導(dǎo)致超時(shí)?跪求大俠提供個(gè)解決問題的大概思路!!!
????????????????????????????????????????????????????????????????????????????????????
解決思路一:
1、推薦 https://github.com/adyliu/idcenter2、可以通過第三方redis來實(shí)現(xiàn)。
解決思路一:
1、出現(xiàn)重復(fù)ID,是因?yàn)榕K讀了,并發(fā)的時(shí)候不加 synchronized 比如會(huì)出現(xiàn)問題2、但是加了 synchronized ,性能急劇下降了,本身 java 就是多線程的,你把它單線程使用,不是明智的選擇,同時(shí),如果分布式部署的時(shí)候,加了 synchronized 也無法控制并發(fā)3、調(diào)用這個(gè)方法,出現(xiàn)超時(shí)的情況,說明你的并發(fā)已經(jīng)超過了數(shù)據(jù)庫所能處理的極限,數(shù)據(jù)庫無限等待導(dǎo)致超時(shí)基于上面的分析,建議采用線程池的方案,支付寶的單號(hào)就是用的線程池的方案進(jìn)行的。數(shù)據(jù)庫 update 不是一次加1,而是一次加幾百甚至上千,然后取到的這 1000個(gè)序號(hào),放在線程池里慢慢分配即可,能應(yīng)付任意大的并發(fā),同時(shí)保證數(shù)據(jù)庫沒任何壓力。