数据仓库——ETL(详细教程)
目录
建模模型:维度模型——生成维度表,事实表
事实表为什么叫事实表?——表里有需要被统计的列
建模方式
使用PowerDesigner建立数据模型导出sql文件

1》星模型。事实表关联相关维度表(开发时最多使用)
2》雪花模型。区别 维度表还关联了另一维度表(多张表关联【查询速度慢:通常做降维 >>维度合并 >> 变成星型模型 合并后有重复数据不再符合三段式】)
3》星座模型。多个事实表共同关联维
ETL
将源数据etl到数据仓库里

新建etl项目,设置项目名称位置

新建数据源


本地服务器名: .

新建SSLS包

做全量
当前数据量比较小,当数据量大时做增量
做全量的步骤,先清空再将数据移动过来



双击编辑执行SQL任务
执行第一步,先将表中的内容删除

双击编辑数据流任务
创建传输流程

编辑OLE DB源

编辑数据流转换

编辑OLE DB源目标

右键选择执行
变绿执行成功

下面是对事实表做增量
做增量
创建增量序列容器

编辑执行SQL任务



编辑任务条件
选中左边线路
选中右边线路
编辑数据流任务1
假设是15号开始建立数据仓库
第一步是将14号及之前的所有数据做全量
同样在数据源中选择出符合数据仓库列的内容


其余步骤与做全量一样

编辑数据流任务2
保存过14号之前的数据这里从第15号开始
这里改为=

后面过程相同

执行任务
第一次执行会执行左边,这是第二次执行会执行右边
数据类型不同不能转换的问题
sql server中更改列表类型默认不能更改需要到工具—选项—设计器中取消掉阻止更改,确定并刷新

