1. 编程号首页

使用merge into进行大数据量优化

编程小号 • • 未分类

使用merge into进行大数据量优化传统方式：insertintotableAselectxxfromtableB或者使用<foreachcollection=”pd.mapListImpt”item=”item”index=”index”open=”begin”close=”;end;”separator=”;”>updatetableA <set> a=…

传统方式：

insert into tableA select xx from tableB

或者使用

<foreach collection="pd.mapListImpt" item="item" index="index" open="begin" close=";end;" separator=";" >
update tableA
			<set>
				a= #{pd.mapListImpt[${index}].a,jdbcType=VARCHAR},
				b= #{pd.mapListImpt[${index}].b,jdbcType=VARCHAR},

				c=#{pd.mapListImpt[${index}].c,jdbcType=VARCHAR},
				d= #{pd.mapListImpt[${index}].d,jdbcType=VARCHAR},

				e=  #{pd.mapListImpt[${index}].e,jdbcType=VARCHAR},

				f=  #{pd.mapListImpt[${index}].f,jdbcType=VARCHAR},
				g=  #{pd.mapListImpt[${index}].g,jdbcType=VARCHAR},


				h=#{pd.h,jdbcType=VARCHAR},
				UpdateOperater=#{pd.userCode,jdbcType=VARCHAR},
				UpdateDate=to_date(to_char(sysdate,'yyyy-MM-dd'),'yyyy-MM-dd'),
				UpdateTime=to_char(sysdate, 'HH24:mi:ss')
			</set>
			where ad=#{pd.mapListImpt[${index}].ad,jdbcType=VARCHAR}
</foreach>

优化方式

使用merge into
以下写的例子，以供以后参考

<insert id="insertCEBPN_Con_ContriLs" statementType="PREPARED" parameterType="pd">
		merge into PN_Con_ContriLs pnc
    using(
       select
         pcc.contrilsid contrilsid,
         pcc.contributionid contributionid,

         pcc.PlanID PlanID,
         pcc.EnterprisedeID EnterprisedeID,
         pcc.SubEnterprisedeID SubEnterprisedeID,
         pcc.productid productid,
         pcc.StaffID StaffID,
         pcc.name name,
         pcc.IdNo IdNo,
         nvl(pcc.EContTaxApply,'0') + pcc(pnc.ECMoney,'0') ECTotal,
         nvl(pcc.SContTaxApply,'0') + pcc(pnc.SCMoney,'0') SCTotal,
         pcc.CSumMoney CSumMoney,
         pcc.EContTaxApply EContTaxApply,
			   pcc.SContTaxApply SContTaxApply,
			   pcc.ECMoney ECMoney,
			   pcc.SCMoney SCMoney,
         pcc.expandfield2 expandfield2
      from pn_con_contrils_temp pcc
      where pcc.contributionid = #{pd.ContributionID,jdbcType=VARCHAR}
				    and pcc.expandfield4 = #{pd.ContriLsIDLSPay,jdbcType=VARCHAR}
    )t on(pnc.contributionid=t.contributionid)
    when not matched then
    insert (pnc.ContriLsID,pnc.ContributionID,pnc.planid,pnc.EnterprisedeID,pnc.SubEnterprisedeID,pnc.ProductID,pnc.StaffID,pnc.name,  pnc.IdNo,
		   pnc.EContTotalLs,pnc.SContTotalLs, pnc.ContTotalLs,pnc.EContTaxTotalLs,pnc.SContTaxTotalLs,pnc.EContApply,pnc.SContApply,
		   pnc.OperateOrg, pnc.Operater,pnc.MakeDate, pnc.MakeTime,pnc.UpdateOperater,pnc.UpdateDate,pnc.UpdateTime,pnc.ContriListFileID,pnc.ContriAccountType)
    values(
         t.contrilsid,
         t.contributionid,
         t.PlanID,
         t.EnterprisedeID,
         t.SubEnterprisedeID,
         t.productid,
         t.StaffID,
         t.name,
         t.IdNo,
         t.ECTotal,
         t.SCTotal,
         t.CSumMoney,
         t.EContTaxApply,
         t.SContTaxApply,
         t.ECMoney,
         t.SCMoney,
         #{pd.comCode, jdbcType = VARCHAR},
         #{pd.userCode, jdbcType = VARCHAR},
         to_date(to_char(sysdate, 'yyyy-MM-dd'), 'yyyy-MM-dd'),
         to_char(sysdate, 'HH24:mi:ss'),
         #{pd.userCode, jdbcType = VARCHAR},
         to_date(to_char(sysdate, 'yyyy-MM-dd'), 'yyyy-MM-dd'),
         to_char(sysdate, 'HH24:mi:ss'),
         #{pd.FileID, jdbcType = VARCHAR},
         t.expandfield2
      )
	</insert>

<insert id="updateCEBPN_Con_ContriLs" statementType="PREPARED" parameterType="pd">
		merge into PN_Con_ContriLs pnc
using(
       select
           pcc.contrilsid ContriLsID,
           pcc.contributionid ContributionID,
           pcc.name Name,
           pcc.idno IDNo,
           pcc.EContTaxApply,
           pcc.ECMoney,
           (nvl(pcc.EContTaxApply,'0')+nvl(pcc.ECMoney,'0')) EContTotalLs,
           pcc.SContTaxApply,
           pcc.SCMoney,
           (nvl(pcc.SContTaxApply,'0')+nvl(pcc.SCMoney,'0')) SContTotalLs,
           pcc.CSumMoney
    from pn_con_contrils_temp pcc
    where pcc.contributionid = #{pd.ContributionID,jdbcType=VARCHAR}
      	  and pcc.expandfield4 = #{pd.ContriLsIDLSPay,jdbcType=VARCHAR}
      )t  on(t.contributionid = pnc.contributionid and pnc.Name = t.Name and pnc.IDNo = t.IDNo)
WHEN MATCHED THEN
			UPDATE  SET
           		   pnc.EContTotalLs = t.EContTotalLs,
				   pnc.SContTotalLs = t.SContTotalLs,
				   pnc.EContTaxTotalLs = t.EContTaxApply,
				   pnc.SContTaxTotalLs = t.SContTaxApply,
				   pnc.ContTotalLs =  t.CSumMoney,
				   pnc.EContApply=  t.ECMoney,
				   pnc.SContApply=  t.SCMoney,

				   pnc.ContriListFileID=#{pd.FileID,jdbcType=VARCHAR},
				   pnc.UpdateOperater=#{pd.userCode,jdbcType=VARCHAR},
				   pnc.UpdateDate=to_date(to_char(sysdate,'yyyy-MM-dd'),'yyyy-MM-dd'),
				   pnc.UpdateTime=to_char(sysdate, 'HH24:mi:ss')
	</insert>

下面是参考的其他博主的记录，以供日后学习
转载自：https://blog.csdn.net/jeryjeryjery/article/details/70047022

merge into的形式：

MERGE INTO [target-table] A USING [source-table sql] B ON([conditional expression] and [...]...)
WHEN MATCHED THEN
	[UPDATE sql]
WHEN NOT MATCHED THEN
	[INSERT sql]

作用:判断Ｂ表和Ａ表是否满足ON中条件，如果满足则用B表去更新A表，如果不满足，则将B表数据插入A表但是有很多可选项，如下:

1.正常模式

2.只update或者只insert

3.带条件的update或带条件的insert

4.全插入insert实现

5.带delete的update(觉得可以用3来实现)
下面一一测试。

测试建以下表:


 
 
 
 
    
  
  
  1.  
   
     
    
     
   
     
   
     
    
     
     create 
     table A_MERGE 
    
     
   
    2. 
  
  
  2.  
   
     
    
     
   
     
   
     
    
    
      ( 
    
     
   
    3. 
  
  
  3.  
   
     
    
     
   
     
   
     
    
     
     id 
     NUMBER 
     not 
     null, 
    
     
   
    4. 
  
  
  4.  
   
     
    
     
   
     
   
     
    
     
     name VARCHAR2( 
     12) 
     not 
     null, 
    
     
   
    5. 
  
  
  5.  
   
     
    
     
   
     
   
     
    
     
     year 
     NUMBER 
    
     
   
    6. 
  
  
  6.  
   
     
    
     
   
     
   
     
    
    
      ); 
    
     
   
    7. 
  
  
  7.  
   
     
    
     
   
     
   
     
    
     
     create 
     table B_MERGE 
    
     
   
    8. 
  
  
  8.  
   
     
    
     
   
     
   
     
    
    
      ( 
    
     
   
    9. 
  
  
  9.  
   
     
    
     
   
     
   
     
    
     
     id 
     NUMBER 
     not 
     null, 
    
     
   
    10. 
  
  
  10.  
   
     
    
     
   
     
   
     
    
    
      aid 
     NUMBER 
     not 
     null, 
    
     
   
    11. 
  
  
  11.  
   
     
    
     
   
     
   
     
    
     
     name VARCHAR2( 
     12) 
     not 
     null, 
    
     
   
    12. 
  
  
  12.  
   
     
    
     
   
     
   
     
    
     
     year 
     NUMBER, 
    
     
   
    13. 
  
  
  13.  
   
     
    
     
   
     
   
     
    
    
      city VARCHAR2( 
     12) 
    
     
   
    14. 
  
  
  14.  
   
     
    
     
   
     
   
     
    
    
      ); 
    
     
   
    15. 
  
  
  15.  
   
     
    
     
   
     
   
     
    
     
     create 
     table C_MERGE 
    
     
   
    16. 
  
  
  16.  
   
     
    
     
   
     
   
     
    
    
      ( 
    
     
   
    17. 
  
  
  17.  
   
     
    
     
   
     
   
     
    
     
     id 
     NUMBER 
     not 
     null, 
    
     
   
    18. 
  
  
  18.  
   
     
    
     
   
     
   
     
    
     
     name VARCHAR2( 
     12) 
     not 
     null, 
    
     
   
    19. 
  
  
  19.  
   
     
    
     
   
     
   
     
    
    
      city VARCHAR2( 
     12) 
     not 
     null 
    
     
   
    20. 
  
  
  20.  
   
     
    
     
   
     
   
     
    
    
      ); 
    
     
   
    21. 
  
  
  21.  
   
     
    
     
   
     
   
     
    
     
     commit; 
    
     
   
    22.

其表结构截图如下图所示：

A_MERGE表结构：

使用merge into进行大数据量优化

B_MERGE表结构

使用merge into进行大数据量优化

C_MERGE表结构

使用merge into进行大数据量优化

1.正常模式

先向A_MERGE和B_MERGE插入测试数据：


 
 
 
 
    
  
  
  1.  
   
     
    
     
   
     
   
     
    
     
     insert 
     into A_MERGE 
     values( 
     1, 
     'liuwei', 
     20); 
    
     
   
    2. 
  
  
  2.  
   
     
    
     
   
     
   
     
    
     
     insert 
     into A_MERGE 
     values( 
     2, 
     'zhangbin', 
     21); 
    
     
   
    3. 
  
  
  3.  
   
     
    
     
   
     
   
     
    
     
     insert 
     into A_MERGE 
     values( 
     3, 
     'fuguo', 
     20); 
    
     
   
    4. 
  
  
  4.  
   
     
    
     
   
     
   
     
    
     
     commit; 
    
     
   
    5. 
  
  
  5.  
   
     
    
     
   
     
   
     
    
     
    
     
   
    6. 
  
  
  6.  
   
     
    
     
   
     
   
     
    
     
     insert 
     into B_MERGE 
     values( 
     1, 
     2, 
     'zhangbin', 
     30, 
     '吉林'); 
    
     
   
    7. 
  
  
  7.  
   
     
    
     
   
     
   
     
    
     
     insert 
     into B_MERGE 
     values( 
     2, 
     4, 
     'yihe', 
     33, 
     '黑龙江'); 
    
     
   
    8. 
  
  
  8.  
   
     
    
     
   
     
   
     
    
     
     insert 
     into B_MERGE 
     values( 
     3, 
     3, 
     'fuguo',, 
     '山东'); 
    
     
   
    9. 
  
  
  9.  
   
     
    
     
   
     
   
     
    
     
     commit; 
    
     
   
    10.

此时A_MERGE和B_MERGE表中数据截图如下:

A_MERGE表数据:

使用merge into进行大数据量优化

B_MERGE表数据:

使用merge into进行大数据量优化

然后再使用merge into用B_MERGE来更新A_MERGE中的数据: 


 
 
 
 
    
  
  
  1.  
   
     
    
     
   
     
   
     
    
     
     MERGE 
     INTO A_MERGE A 
     USING ( 
     select B.AID,B.NAME,B.YEAR 
     from B_MERGE B) C 
     ON (A.id=C.AID) 
    
     
   
    2. 
  
  
  2.  
   
     
    
     
   
     
   
     
    
     
     WHEN 
     MATCHED 
     THEN 
    
     
   
    3. 
  
  
  3.  
   
     
    
     
   
     
   
     
    
     
     UPDATE 
     SET A.YEAR=C.YEAR 
    
     
   
    4. 
  
  
  4.  
   
     
    
     
   
     
   
     
    
     
     WHEN 
     NOT 
     MATCHED 
     THEN 
    
     
   
    5. 
  
  
  5.  
   
     
    
     
   
     
   
     
    
     
     INSERT(A.ID,A.NAME,A.YEAR) 
     VALUES(C.AID,C.NAME,C.YEAR); 
    
     
   
    6. 
  
  
  6.  
   
     
    
     
   
     
   
     
    
     
     commit; 
    
     
   
    7.

此时A_MERGE中的表数据截图如下:

使用merge into进行大数据量优化
2.只update模式
首先向B_MERGE中插入两个数据，来为了体现出只update没有insert，必须有一个数据是A中已经存在的

另一个数据时A中不存在的，插入数据语句如下:


 
 
 
 
    
  
  
  1.  
   
     
    
     
   
     
   
     
    
     
     insert 
     into B_MERGE 
     values( 
     4, 
     1, 
     'liuwei', 
     80, 
     '江西'); 
    
     
   
    2. 
  
  
  2.  
   
     
    
     
   
     
   
     
    
     
     insert 
     into B_MERGE 
     values( 
     5, 
     5, 
     'tiantian', 
     23, 
     '河南'); 
    
     
   
    3. 
  
  
  3.  
   
     
    
     
   
     
   
     
    
     
     commit; 
    
     
   
    4.

此时A_MERGE和B_MERGE表数据截图如下:

A_MERGE表数据截图:

使用merge into进行大数据量优化

B_MERGE表数据截图:

使用merge into进行大数据量优化

然后再次用B_MERGE来更新A_MERGE，但是仅仅update，没有写insert部分。


 
 
 
 
    
  
  
  1.  
   
     
    
     
   
     
   
     
    
     
     merge 
     into A_MERGE A 
     USING ( 
     select B.AID,B.NAME,B.YEAR 
     from B_MERGE B) C 
     ON(A.ID=C.AID) 
    
     
   
    2. 
  
  
  2.  
   
     
    
     
   
     
   
     
    
     
     WHEN 
     MATCHED 
     THEN 
    
     
   
    3. 
  
  
  3.  
   
     
    
     
   
     
   
     
    
     
     UPDATE 
     SET A.YEAR=C.YEAR; 
    
     
   
    4. 
  
  
  4.  
   
     
    
     
   
     
   
     
    
     
    
     
   
    5. 
  
  
  5.  
   
     
    
     
   
     
   
     
    
     
     commit; 
    
     
   
    6.

merge完之后A_MERGE表数据截图如下:可以发现仅仅更新了AID=1的年龄，没有插入AID=4的数据

使用merge into进行大数据量优化
3.只insert模式
首先改变B_MERGE中的一个数据，因为上次测试update时新增的数据没有插入到A_MERGE，这次可以用。


 
 
 
 
    
  
  
  1.  
   
     
    
     
   
     
   
     
    
     
     update B_MERGE 
     set 
     year= 
     70 
     where AID= 
     2; 
    
     
   
    2. 
  
  
  2.  
   
     
    
     
   
     
   
     
    
     
     commit; 
    
     
   
    3.

此时A_MERGE和B_MERGE的表数据截图如下:

A_MERGE表数据:

使用merge into进行大数据量优化

B_MERGE表数据:

使用merge into进行大数据量优化

然后用B_MERGE来更新A_MERGE中的数据，此时只写了insert，没有写update:


 
 
 
 
    
  
  
  1.  
   
     
    
     
   
     
   
     
    
     
     merge 
     into A_MERGE A 
     USING ( 
     select B.AID,B.NAME,B.YEAR 
     from B_MERGE B) C 
     ON(A.ID=C.AID) 
    
     
   
    2. 
  
  
  2.  
   
     
    
     
   
     
   
     
    
     
     WHEN 
     NOT 
     MATCHED 
     THEN 
    
     
   
    3. 
  
  
  3.  
   
     
    
     
   
     
   
     
    
     
     insert(A.ID,A.NAME,A.YEAR) 
     VALUES(C.AID,C.NAME,C.YEAR); 
    
     
   
    4. 
  
  
  4.  
   
     
    
     
   
     
   
     
    
     
     commit; 
    
     
   
    5.

此时A_MERGE的表数据截图如下:

使用merge into进行大数据量优化

4.带where条件的insert和update。
我们在on中进行完条件匹配之后，还可以在后面的insert和update中对on筛选出来的记录再做一次条件判断，用来控制哪些要更新，哪些要插入。
测试数据的sql代码如下，我们在B_MERGE修改了两个人名，并且增加了两个人员信息，但是他们来自的省份不同，
所以我们可以通过添加省份条件来控制哪些能修改，哪些能插入:


 
 
 
 
    
  
  
  1.  
   
     
    
     
   
     
   
     
    
     
     update B_MERGE 
     set 
     name= 
     'yihe++' 
     where 
     id= 
     2; 
    
     
   
    2. 
  
  
  2.  
   
     
    
     
   
     
   
     
    
     
     update B_MERGE 
     set 
     name= 
     'liuwei++' 
     where 
     id= 
     4; 
    
     
   
    3. 
  
  
  3.  
   
     
    
     
   
     
   
     
    
     
     insert 
     into B_MERGE 
     values( 
     6, 
     6, 
     'ningqin', 
     23, 
     '江西'); 
    
     
   
    4. 
  
  
  4.  
   
     
    
     
   
     
   
     
    
     
     insert 
     into B_MERGE 
     values( 
     7, 
     7, 
     'bing', 
     24, 
     '吉安'); 
    
     
   
    5. 
  
  
  5.  
   
     
    
     
   
     
   
     
    
     
     commit; 
    
     
   
    6.

A_MGERGE表数据截图如下：

使用merge into进行大数据量优化

B_MERGE表数据：

使用merge into进行大数据量优化

然后再用B_MERGE去更新A_MERGE，但是分别在insert和update后面添加了条件限制，控制数据的更新和插入:


 
 
 
 
    
  
  
  1.  
   
     
    
     
   
     
   
     
    
     
     merge 
     into A_MERGE A 
     USING ( 
     select B.AID,B.name,B.year,B.city 
     from B_MERGE B) C 
    
     
   
    2. 
  
  
  2.  
   
     
    
     
   
     
   
     
    
     
     ON(A.id=C.AID) 
    
     
   
    3. 
  
  
  3.  
   
     
    
     
   
     
   
     
    
     
     when 
     matched 
     then 
    
     
   
    4. 
  
  
  4.  
   
     
    
     
   
     
   
     
    
     
     update 
     SET A.name=C.name 
     where C.city != 
     '江西' 
    
     
   
    5. 
  
  
  5.  
   
     
    
     
   
     
   
     
    
     
     when 
     not 
     matched 
     then 
    
     
   
    6. 
  
  
  6.  
   
     
    
     
   
     
   
     
    
     
     insert(A.ID,A.name,A.year) 
     values(c.AID,C.name,C.year) 
     where C.city= 
     '江西'; 
    
     
   
    7. 
  
  
  7.  
   
     
    
     
   
     
   
     
    
     
     commit; 
    
     
   
    8.

此时A_MERGE截图如下:

使用merge into进行大数据量优化

5.无条件的insert。
有时我们需要将一张表中所有的数据插入到另外一张表，此时就可以添加常量过滤谓词来实现，让其只满足
匹配和不匹配，这样就只有update或者只有insert。这里我们要无条件全插入，则只需将on中条件设置为永假
即可。用B_MERGE来更新C_MERGE代码如下:


 
 
 
 
    
  
  
  1.  
   
     
    
     
   
     
   
     
    
     
     merge 
     into C_MERGE C 
     USING ( 
     select B.AID,B.NAME,B.City 
     from B_MERGE B) C 
     ON ( 
     1= 
     0) 
    
     
   
    2. 
  
  
  2.  
   
     
    
     
   
     
   
     
    
     
     when 
     not 
     matched 
     then 
    
     
   
    3. 
  
  
  3.  
   
     
    
     
   
     
   
     
    
     
     insert(C.ID,C.NAME,C.City) 
     values(B.AID,B.NAME,B.City); 
    
     
   
    4. 
  
  
  4.  
   
     
    
     
   
     
   
     
    
     
     commit; 
    
     
   
    5.

C_MERGE表在merge之前的数据截图如下:

使用merge into进行大数据量优化

B_MERGE数据截图如下：

使用merge into进行大数据量优化

C_MERGE表在merge之后数据截图如下:

使用merge into进行大数据量优化

6.带delete的update
   MERGE提供了在执行数据操作时清除行的选项. 你能够在WHEN MATCHED THEN UPDATE子句中包含DELETE子句. 
DELETE子句必须有一个WHERE条件来删除匹配某些条件的行.匹配DELETE WHERE条件但不匹配ON条件的行不会被从表中删除.
但我觉得这个带where条件的update差不多，都是控制update，完全可以用带where条件的update来实现。

    author:su1573

    版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。
    如需转载请保留出处：https://bianchenghao.cn/37066.html

    赞 (0)
    编程小号编程小号
    0

    相关推荐

    发表回复

    您的电子邮箱地址不会被公开。 必填项已用*标注