CBO與RBO下的IN/EXISTS

    晚上抽空看了看ask tom的RSS，發現兩篇應該說很入門的關于IN/EXISTS的文章：http://asktom.oracle.com/pls/ask/f?p=4950:8:::::F4950_P8_DISPLAYID:953229842074，http://asktom.oracle.com/pls/ask/f?p=4950:8:::::F4950_P8_DISPLAYID:442029737684
    文章很長，也沒有仔細看完，不過有些東西還是很有意思的，動手實驗了一下。大家隨便看看咯，Tom當初回答問題的環境我已經沒辦法測試了，在10.1.0.4下做了些測試，CBO和RBO（使用hints）下還是很大區別的。

SQL> select * from scott.emp;

     EMPNO ENAME      JOB              MGR HIREDATE              SAL       COMM     DEPTNO
---------- ---------- --------- ---------- -------------- ---------- ---------- ----------
      7369 SMITH      CLERK           7902 17-12月-80            800                    20
      7499 ALLEN      SALESMAN        7698 20-2月 -81           1600        300         30
      7521 WARD       SALESMAN        7698 22-2月 -81           1250        500         30
      7566 JONES      MANAGER         7839 02-4月 -81           2975                    20
      7654 MARTIN     SALESMAN        7698 28-9月 -81           1250       1400         30
      7698 BLAKE      MANAGER         7839 01-5月 -81           2850                    30
      7782 CLARK      MANAGER         7839 09-6月 -81           2450                    10
      7788 SCOTT      ANALYST         7566 19-4月 -87           3000                    20
      7839 KING       PRESIDENT            17-11月-81           5000                    10
      7844 TURNER     SALESMAN        7698 08-9月 -81           1500          0         30
      7876 ADAMS      CLERK           7788 23-5月 -87           1100                    20
      7900 JAMES      CLERK           7698 03-12月-81            950                    30
      7902 FORD       ANALYST         7566 03-12月-81           3000                    20
      7934 MILLER     CLERK           7782 23-1月 -82           1300                    10

已選擇14行。


執行計劃
----------------------------------------------------------
   0      SELECT STATEMENT Optimizer=ALL_ROWS (Cost=3 Card=14 Bytes=1218)
   1    0   TABLE ACCESS (FULL) OF 'EMP' (TABLE) (Cost=3 Card=14 Bytes=1218)


SQL> create table tmp_emp as select * from scott.emp where ename like 'S%';

表已創建。

SQL> select * from tmp_emp;

     EMPNO ENAME      JOB              MGR HIREDATE              SAL       COMM     DEPTNO
---------- ---------- --------- ---------- -------------- ---------- ---------- ----------
      7369 SMITH      CLERK           7902 17-12月-80            800                    20
      7788 SCOTT      ANALYST         7566 19-4月 -87           3000                    20


執行計劃
----------------------------------------------------------
   0      SELECT STATEMENT Optimizer=ALL_ROWS (Cost=3 Card=2 Bytes=174)
   1    0   TABLE ACCESS (FULL) OF 'TMP_EMP' (TABLE) (Cost=3 Card=2 Bytes=174)

先測試一下IN：
SQL> select * from tmp_emp where ename in (select ename from scott.emp);

     EMPNO ENAME      JOB              MGR HIREDATE              SAL       COMM     DEPTNO
---------- ---------- --------- ---------- -------------- ---------- ---------- ----------
      7369 SMITH      CLERK           7902 17-12月-80            800                    20
      7788 SCOTT      ANALYST         7566 19-4月 -87           3000                    20


執行計劃
----------------------------------------------------------
   0      SELECT STATEMENT Optimizer=ALL_ROWS (Cost=7 Card=2 Bytes=188)
   1    0   HASH JOIN (SEMI) (Cost=7 Card=2 Bytes=188)
   2    1     TABLE ACCESS (FULL) OF 'TMP_EMP' (TABLE) (Cost=3 Card=2 Bytes=174)
   3    1     TABLE ACCESS (FULL) OF 'EMP' (TABLE) (Cost=3 Card=14 Bytes=98)

表沒有做過分析，使用了HASH JOIN (SEMI)。

Tom在回答問題的時候提到：
Select * from T1 where x in ( select y from T2 )
is typically processed as:
select *
  from t1, ( select distinct y from t2 ) t2
 where t1.x = t2.y;
The subquery is evaluated, distincted, indexed (or hashed or sorted) and then
joined to the original table -- typically.
顯然第二個查詢是很奇怪的。也正是這個促使我打開了數據庫測試，難道一個IN還需要先DISTINCT一下？沒見過IN產生排序操作啊。

SQL> ed
已寫入 file afiedt.buf

  1  select * from tmp_emp,(select distinct ename from scott.emp) t
  2* where tmp_emp.ename=t.ename
SQL> /

     EMPNO ENAME      JOB              MGR HIREDATE              SAL       COMM     DEPTNO ENAME
---------- ---------- --------- ---------- -------------- ---------- ---------- ---------- ----------
      7369 SMITH      CLERK           7902 17-12月-80            800                    20 SMITH
      7788 SCOTT      ANALYST         7566 19-4月 -87           3000                    20 SCOTT


執行計劃
----------------------------------------------------------
   0      SELECT STATEMENT Optimizer=ALL_ROWS (Cost=8 Card=2 Bytes=188)
   1    0   VIEW (Cost=8 Card=2 Bytes=188)
   2    1     SORT (UNIQUE) (Cost=8 Card=2 Bytes=202)
   3    2       HASH JOIN (Cost=7 Card=2 Bytes=202)
   4    3         TABLE ACCESS (FULL) OF 'TMP_EMP' (TABLE) (Cost=3 Card=2 Bytes=188)
   5    3         TABLE ACCESS (FULL) OF 'EMP' (TABLE) (Cost=3 Card=14 Bytes=98)

顯然不一樣了。那么改用RULE模式：


SQL> ed
已寫入 file afiedt.buf

  1  select /*+ rule */ * from tmp_emp,(select distinct ename from scott.emp) t
  2* where tmp_emp.ename=t.ename
SQL> /

     EMPNO ENAME      JOB              MGR HIREDATE              SAL       COMM     DEPTNO ENAME
---------- ---------- --------- ---------- -------------- ---------- ---------- ---------- ----------
      7788 SCOTT      ANALYST         7566 19-4月 -87           3000                    20 SCOTT
      7369 SMITH      CLERK           7902 17-12月-80            800                    20 SMITH


執行計劃
----------------------------------------------------------
   0      SELECT STATEMENT Optimizer=HINT: RULE
   1    0   MERGE JOIN
   2    1     VIEW
   3    2       SORT (UNIQUE)
   4    3         TABLE ACCESS (FULL) OF 'EMP' (TABLE)
   5    1     SORT (JOIN)
   6    5       TABLE ACCESS (FULL) OF 'TMP_EMP' (TABLE)

再試試加上索引：

SQL> alter table tmp_emp add constraints pk_tmpemp primary key(ename);

表已更改。

分析一下：

SQL> analyze table tmp_emp compute statistics for table for all indexed columns;

表已分析。

SQL> analyze table scott.emp compute statistics for table for all columns;

表已分析。

SQL> select *
  2  from tmp_emp e,(select distinct ename from scott.emp) t
  3  where e.ename=t.ename;

     EMPNO ENAME      JOB              MGR HIREDATE              SAL       COMM     DEPTNO ENAME
---------- ---------- --------- ---------- -------------- ---------- ---------- ---------- ----------
      7369 SMITH      CLERK           7902 17-12月-80            800                    20 SMITH
      7788 SCOTT      ANALYST         7566 19-4月 -87           3000                    20 SCOTT


執行計劃
----------------------------------------------------------
   0      SELECT STATEMENT Optimizer=ALL_ROWS (Cost=6 Card=2 Bytes=188)
   1    0   VIEW (Cost=6 Card=2 Bytes=188)
   2    1     SORT (UNIQUE) (Cost=6 Card=2 Bytes=88)
   3    2       NESTED LOOPS (Cost=5 Card=2 Bytes=88)
   4    3         TABLE ACCESS (FULL) OF 'EMP' (TABLE) (Cost=3 Card=14 Bytes=70)
   5    3         TABLE ACCESS (BY INDEX ROWID) OF 'TMP_EMP' (TABLE) (Cost=1 Card=1 Bytes=39)
   6    5           INDEX (UNIQUE SCAN) OF 'PK_TMPEMP' (INDEX (UNIQUE)) (Cost=0 Card=1)


SQL> ed
已寫入 file afiedt.buf

  1  select /*+rule*/ *
  2  from tmp_emp e,(select distinct ename from scott.emp) t
  3* where e.ename=t.ename
SQL> /

     EMPNO ENAME      JOB              MGR HIREDATE              SAL       COMM     DEPTNO ENAME
---------- ---------- --------- ---------- -------------- ---------- ---------- ---------- ----------
      7788 SCOTT      ANALYST         7566 19-4月 -87           3000                    20 SCOTT
      7369 SMITH      CLERK           7902 17-12月-80            800                    20 SMITH


執行計劃
----------------------------------------------------------
   0      SELECT STATEMENT Optimizer=HINT: RULE
   1    0   NESTED LOOPS
   2    1     VIEW
   3    2       SORT (UNIQUE)
   4    3         TABLE ACCESS (FULL) OF 'EMP' (TABLE)
   5    1     TABLE ACCESS (BY INDEX ROWID) OF 'TMP_EMP' (TABLE)
   6    5       INDEX (UNIQUE SCAN) OF 'PK_TMPEMP' (INDEX (UNIQUE))


SQL> select * from tmp_emp where ename in (select ename from scott.emp);

     EMPNO ENAME      JOB              MGR HIREDATE              SAL       COMM     DEPTNO
---------- ---------- --------- ---------- -------------- ---------- ---------- ----------
      7788 SCOTT      ANALYST         7566 19-4月 -87           3000                    20
      7369 SMITH      CLERK           7902 17-12月-80            800                    20


執行計劃
----------------------------------------------------------
   0      SELECT STATEMENT Optimizer=ALL_ROWS (Cost=5 Card=1 Bytes=44)
   1    0   NESTED LOOPS (Cost=5 Card=1 Bytes=44)
   2    1     SORT (UNIQUE) (Cost=3 Card=14 Bytes=70)
   3    2       TABLE ACCESS (FULL) OF 'EMP' (TABLE) (Cost=3 Card=14 Bytes=70)
   4    1     TABLE ACCESS (BY INDEX ROWID) OF 'TMP_EMP' (TABLE) (Cost=1 Card=1 Bytes=39)
   5    4       INDEX (UNIQUE SCAN) OF 'PK_TMPEMP' (INDEX (UNIQUE)) (Cost=0 Card=1)


SQL> select /*+rule*/ * from tmp_emp where ename in (select ename from scott.emp);

     EMPNO ENAME      JOB              MGR HIREDATE              SAL       COMM     DEPTNO
---------- ---------- --------- ---------- -------------- ---------- ---------- ----------
      7788 SCOTT      ANALYST         7566 19-4月 -87           3000                    20
      7369 SMITH      CLERK           7902 17-12月-80            800                    20


執行計劃
----------------------------------------------------------
   0      SELECT STATEMENT Optimizer=HINT: RULE
   1    0   NESTED LOOPS
   2    1     VIEW OF 'VW_NSO_1' (VIEW)
   3    2       SORT (UNIQUE)
   4    3         TABLE ACCESS (FULL) OF 'EMP' (TABLE)
   5    1     TABLE ACCESS (BY INDEX ROWID) OF 'TMP_EMP' (TABLE)
   6    5       INDEX (UNIQUE SCAN) OF 'PK_TMPEMP' (INDEX (UNIQUE))

這次確實接近了很多，總體上看和Tom說的情況差不多。不過RBO這種模式對后邊的表對應列選擇性低時應該很好，而其他情況恐怕不見得是優化的。下面看看EXISTS：

SQL> select * from tmp_emp t where exists(select null from scott.emp e where t.ename=e.ename);

     EMPNO ENAME      JOB              MGR HIREDATE              SAL       COMM     DEPTNO
---------- ---------- --------- ---------- -------------- ---------- ---------- ----------
      7788 SCOTT      ANALYST         7566 19-4月 -87           3000                    20
      7369 SMITH      CLERK           7902 17-12月-80            800                    20


執行計劃
----------------------------------------------------------
   0      SELECT STATEMENT Optimizer=ALL_ROWS (Cost=5 Card=1 Bytes=44)
   1    0   NESTED LOOPS (Cost=5 Card=1 Bytes=44)
   2    1     SORT (UNIQUE) (Cost=3 Card=14 Bytes=70)
   3    2       TABLE ACCESS (FULL) OF 'EMP' (TABLE) (Cost=3 Card=14 Bytes=70)
   4    1     TABLE ACCESS (BY INDEX ROWID) OF 'TMP_EMP' (TABLE) (Cost=1 Card=1 Bytes=39)
   5    4       INDEX (UNIQUE SCAN) OF 'PK_TMPEMP' (INDEX (UNIQUE)) (Cost=0 Card=1)

看著和用IN一樣哦。


SQL> select /*+rule*/ * from tmp_emp t where exists(select null from scott.emp e where t.ename=e.ename);

     EMPNO ENAME      JOB              MGR HIREDATE              SAL       COMM     DEPTNO
---------- ---------- --------- ---------- -------------- ---------- ---------- ----------
      7369 SMITH      CLERK           7902 17-12月-80            800                    20
      7788 SCOTT      ANALYST         7566 19-4月 -87           3000                    20


執行計劃
----------------------------------------------------------
   0      SELECT STATEMENT Optimizer=HINT: RULE
   1    0   FILTER
   2    1     TABLE ACCESS (FULL) OF 'TMP_EMP' (TABLE)
   3    1     TABLE ACCESS (FULL) OF 'EMP' (TABLE)

用RBO就不同咯！


SQL> select t.* from tmp_emp t,scott.emp e where t.ename=e.ename;

     EMPNO ENAME      JOB              MGR HIREDATE              SAL       COMM     DEPTNO
---------- ---------- --------- ---------- -------------- ---------- ---------- ----------
      7369 SMITH      CLERK           7902 17-12月-80            800                    20
      7788 SCOTT      ANALYST         7566 19-4月 -87           3000                    20


執行計劃
----------------------------------------------------------
   0      SELECT STATEMENT Optimizer=ALL_ROWS (Cost=5 Card=2 Bytes=88)
   1    0   NESTED LOOPS (Cost=5 Card=2 Bytes=88)
   2    1     TABLE ACCESS (FULL) OF 'EMP' (TABLE) (Cost=3 Card=14 Bytes=70)
   3    1     TABLE ACCESS (BY INDEX ROWID) OF 'TMP_EMP' (TABLE) (Cost=1 Card=1 Bytes=39)
   4    3       INDEX (UNIQUE SCAN) OF 'PK_TMPEMP' (INDEX (UNIQUE)) (Cost=0 Card=1)

這樣看來在CBO下，使用內關聯、IN、EXISTS很可能得到同一個執行計劃（更多的情況就不測試了），優化器會發現三者的語義是相同的；而在較早的RBO下EXISTS采用FILTER而IN相當于對子查詢先DISTINCT后關聯，內關聯則是直接關聯就行了。
Tom在他最新的回復中這樣說：
Use the RBO and see what you see.  way back when I wrote this, that was the "more popular" of the two perhaps
today in 2005, what I said years ago using the RBO does not apply to the CBO. the cbo is smart enough to recognize these two things are effectively the same.
IN相當于對子查詢先DISTINCT后關聯這一條真的沒有想通，RBO為什么做這樣的事呢？實在是沒有普適性，我個人的理解就是設計的時候認為IN后面是跟一個值列表的情況居多，當然先把值算出來，然后NL就可以了，如果后面是一個表里的值那也就一樣處理；而且使用IN的時候也許大多是子查詢對外層查詢的篩選性高，即外層的表較大，而子查詢的返回值較少?？纯床煌闆r的不同執行計劃，Oracle在CBO上確實還是花了點心思的，赫赫。

結論：在RBO下，使用IN還是EXISTS需要視情況而定，只要記住使用IN存在排序和DISTINCT這一步驟應該就不難判斷；CBO下優化器會為你選擇，怎么寫就只是習慣問題了。

原文轉自：http://www.kjueaiud.com