黄色网页视频 I 影音先锋日日狠狠久久 I 秋霞午夜毛片 I 秋霞一二三区 I 国产成人片无码视频 I 国产 精品 自在自线 I av免费观看网站 I 日本精品久久久久中文字幕5 I 91看视频 I 看全色黄大色黄女片18 I 精品不卡一区 I 亚洲最新精品 I 欧美 激情 在线 I 人妻少妇精品久久 I 国产99视频精品免费专区 I 欧美影院 I 欧美精品在欧美一区二区少妇 I av大片网站 I 国产精品黄色片 I 888久久 I 狠狠干最新 I 看看黄色一级片 I 黄色精品久久 I 三级av在线 I 69色综合 I 国产日韩欧美91 I 亚洲精品偷拍 I 激情小说亚洲图片 I 久久国产视频精品 I 国产综合精品一区二区三区 I 色婷婷国产 I 最新成人av在线 I 国产私拍精品 I 日韩成人影音 I 日日夜夜天天综合

greenplum窗口函數(shù)使用淺析

系統(tǒng) 2438 0
?最近處于系統(tǒng)不活躍期,沒怎么升級,因此有了時間可以對整個ETL系統(tǒng)在穩(wěn)定的基礎上進行優(yōu)化。每天列出TOP 10 COST TIME JOB進行分析,其中TOP1 COSTTIME JOB采用了窗口函數(shù)first_value和last_value,結(jié)果SQL全部使用的是first_value,并且為了全部使用first_value,對窗口函數(shù)進行了二次排序。通過explain這段代碼,可以發(fā)現(xiàn)兩次sort消耗的時候大概是一次sort的1.7倍,把sort二次改進成一次,并且把SQL從datastage遷移到greenplum的function里面,整個過程由24分鐘降至40秒。

分析為什么只使用first_value的寫法,且為了完全使用first_value不惜二次sort,原因如下:

WINDOW CALL: WINDOW window_name (partition by xxx order by xxx)
在使用first_value,last_value的時候,partition和order by會對得出的結(jié)果有影響。
分析函數(shù)包含三個分析子句:partition by,order by ,window.window里面rows的方式如下:unbounded preceding(第一行),current row(當前行),unbounded following(最后一行)
(1)語句為(partition by xxx order by xxx),則默認的窗口為 unbounded preceding and current row
(2)語句為(partition by xxx), 窗口默認為unbounded preceding and unbounded following
(3)語句為(),窗口默認為全體結(jié)果集。
可能出現(xiàn)的問題就是語句使用第一種方式的時候。
測試環(huán)境如下:
create table windowcheck
(
?oc_date? integer ,
city???? varchar(50),
id?????? integer,
sale???? integer
);
select *from windowcheck;
?oc_date? | city |? id? | sale ?
----------+------+------+-------
20120701 | bj?? | 3299 | 10040
20120701 | cs?? | 3210 |? 7100
20120701 | nj?? | 3300 |? 8900
20120701 | nj?? | 3301 |? 9000
20120701 | tj?? | 3303 |? 3890
20120701 | wh?? | 3302 |? 4700
select oc_date,city,id,sale,last_value(sale) over (partition by oc_date order by city) last_value
from windowcheck;
?oc_date? | city |? id? | sale? | last_value
----------+------+------+-------+------------
20120701 | bj?? | 3299 | 10040 |????? 10040
20120701 | cs?? | 3210 |? 7100 |?????? 7100
20120701 | nj?? | 3301 |? 9000 |?????? 8900
20120701 | nj?? | 3300 |? 8900 |?????? 8900
20120701 | tj?? | 3303 |? 3890 |?????? 3890
20120701 | wh?? | 3302 |? 4700 |?????? 4700
問題出來了:我們通過oc_date進行分區(qū),對city進行排序,得出的結(jié)果集最后一個值為wh,其sale值為4700.那我們原來的想法就是結(jié)果集所有的last_value應該都為4700。那么問題出在哪個地方呢?問題出在之前寫的窗口的范圍上了。有partition與order的默認的窗口為 unbounded preceding and current row。此時,讀取第一條的時候,窗口范圍僅自己一條,其last_value值為10040,讀取第二條的時候,窗口范圍為第一條與自己這一條,那么得出last_value值 為7100,以此類推.解決方案就是把窗口范圍擴大些。語句如下:
select oc_date,city,id,sale,last_value(sale) over (partition by oc_date order by city rows between unbounded preceding and unbounded following) last_value
from windowcheck;
到這里,把窗口范圍大小會引起的歧義解決了。還有一個疑惑是:如果在使用分區(qū)函數(shù)的時候,這個SQL語句本身也進行排序會怎么樣?因為SQL語句的結(jié)果集的順序會影響ast_value或者first_value的值。這里就要分析整個語句的先后執(zhí)行順序了:分析函數(shù)是在整個SQL查詢結(jié)束后(SQL語句中的ORDER BY的執(zhí)行比較特殊)再進行的操作, 也就是說
SQL語句中的ORDER BY也會影響分析函數(shù)的執(zhí)行結(jié)果。分析語句如下:
--產(chǎn)生結(jié)果集的SQL語句的order by與分區(qū)函數(shù)里面的order by是一致的
select oc_date,city,id,sale,last_value(sale) over (partition by oc_date order by city rows between unbounded preceding and unbounded following) last_value
from windowcheck order by city;
?oc_date? | city |? id? | sale? | last_value
----------+------+------+-------+------------
20120701 | bj?? | 3299 | 10040 |?????? 4700
20120701 | cs?? | 3210 |? 7100 |?????? 4700
20120701 | nj?? | 3301 |? 9000 |?????? 4700
20120701 | nj?? | 3300 |? 8900 |?????? 4700
20120701 | tj?? | 3303 |? 3890 |?????? 4700
20120701 | wh?? | 3302 |? 4700 |?????? 4700
--產(chǎn)生結(jié)果集的SQL語句的order by與分區(qū)函數(shù)里面的order by不一致
select oc_date,city,id,sale,last_value(sale) over (partition by oc_date order by city rows between unbounded preceding and unbounded following) last_value
from windowcheck order by city desc;
?oc_date? | city |? id? | sale? | last_value
----------+------+------+-------+------------
20120701 | wh?? | 3302 |? 4700 |?????? 4700
20120701 | tj?? | 3303 |? 3890 |?????? 4700
20120701 | nj?? | 3301 |? 9000 |?????? 4700
20120701 | nj?? | 3300 |? 8900 |?????? 4700
20120701 | cs?? | 3210 |? 7100 |?????? 4700
20120701 | bj?? | 3299 | 10040 |?????? 4700
由以上二個語句,可以分析出:產(chǎn)生結(jié)果集的SQL語句里面的order by不會對分區(qū)函數(shù)里面的結(jié)果造成影響,原因是如果結(jié)果集的order by與分區(qū)函數(shù)里面的不一致時,先使用分區(qū)函數(shù)里面的order by進行結(jié)果運算,然后再執(zhí)行結(jié)果集里面的order by.如果一致,則分區(qū)函數(shù)分析時不需要排序。
GP里面使用WINDOW的另外方式
select oc_date,city,id,sale,last_value(sale) over (w) last_value
from windowcheck
where oc_date=20120701
WINDOW w as? (partition by oc_date order by city rows between unbounded preceding and unbounded following);

greenplum窗口函數(shù)使用淺析


更多文章、技術交流、商務合作、聯(lián)系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯(lián)系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦?。。?/p>

發(fā)表我的評論
最新評論 總共0條評論