这篇文章我们主要讲解下以下几个点
- 什么是拉链表，用于什么样的场景
- 拉链表的示例
- 如何获取某一天的历史状态
- 如何在使用维度拉链表并使用代理键的前提下，构建含维度代理键的事实表
1.什么是拉链表，用于什么样的场景
当维度数据发生变化时，将旧数据置为失效，将更改后的数据当作新的记录插入到维度表中，并开始生效，这样能够记录数据在某种粒度上的变化历史。
2.拉链表的示例
结合之前所讲的代理键 ，Uid_org 为原始的业务主键，Uid_agency 为代理键
| Uid_agency | Uid_org | name | dept | Start_date | End_date |
| 1 | 1 | jiangtai | Dep1 | 20180501 | 20180509 |
| 2 | 1 | jiangtai | Dep2 | 20180510 | 20991231 |
如何生成代理键，请参看我的另一篇文章
https://blog.csdn.net/u010003835/article/details/104420508
3. 如何获取某一天的历史状态
SELECT *
FROM lalian_table
WHERE start_date <= ‘${bizdate}’ AND end_date >= ‘${bizdate}’
4. 如何在使用维度拉链表并使用代理键的前提下，构建含维度代理键的事实表
对应实际需求：统计部门的销售额，用户A 某日从部门dep1 转到到 dep2 , 年底统计各个部门的销售额
最终的目标表 ：fact_order
| Oid | Uid | Tm_id | … |
| (Order 表主键) | (User 表代理键) | 其他维度 | … |
|
|
|
|
|
User 维度表 ：dim_user
| Uid | id | name | dept | Start_date | End_date | … |
| User表代理键 | User表业务键 | 用户姓名 | 用户部门 | 开始时间 | 结束时间 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Order 表（原始表）
| Oid | Id | Created_time | Updated_time | … |
| Order表主键 | User表业务键 | 创建时间 | 修改时间 |
|
|
|
|
|
|
|
|
|
|
|
|
|
从order 表抽取增量的数据
SELECT * FROM WHERE created_time > '2019-06-01' -> 生成快照表 order_inc
(注意： 这里我们要对增量数据生成代理键)
非 Hive 的写法 :
SELECT ta.* , tb.uid
FROM order_inc AS ta
JOIN dim_user AS tb
ON ta.id = tb.id
AND tb.start_date <= ta.created_time
AND tb.end_date >= ta.created_time
// 这里注意2点 ：
1.这里 created_time 相当于固定值，因为created_time 其实是固定的，及某一天
2.Hive 中是不支持 JOIN 中用不等连接的，这点要注意 ！！！
Hive 写法
SELECT *
FROM
(
SELECT ta.*, tb.uid
FROM order_inc AS ta
JOIN dim_user AS tb
ON ta.id = tb.id
) AS tmp
WHERE tmp.start_date <= tmp.created_time
AND tmp.end_date >= tmp.created_time