【数据库接入规范】 数据库规范

数据接入规范-数据库 修订历史 日期 修改说明 部门 修改人 数据接入需求 基于数据采集需求，初步判断数据的接入源是否从业务数据库中获取。

联系技术研发部同事，请求数据源接入的位置参数，通过配置化方式达到将数据从业务系统拉取、装载到数据仓库贴源层的目的。

数据接入流程 1. 数据中心分析组接到TAPD数据接入需求之后，分析接入数据属于数据接口列表的哪个系统，在对应的系统标题下添加模板，参照效果图-平台效果图。

2. 和需求发起人进行沟通，确定提供数据的方式（数据库、文件、接口等），让需求发起人补充详细的数据口径，补充到需求要求里面，指定数据仓库组或平台组的一个人进行转发。

3. 数据仓库组或平台组根据需求描述。跟数据源提供方（可以是需求发起方、也可以是技术研发部门）沟通，让其补充模板里的位置参数。

4. 数据源提供方根据模板要求，提供位置配置参数。

5. 数据仓库组或平台组根据已经得到的位置参数、需求数据指标等信息，设计接入模型和抽取参数。

6. 数据仓库组或平台组在接入数据后，整理数据格式，制定清洗转换规则，并补充装载目标表信息。

7. 数据中心分析组对最终接入的数据进行验收，并通知需求发起人如何获得接入数据。

数据源接入模板 需求要求（分析组补充）
tapd需求单号：1002513 提起人：陈炳贵(Richard.chen) 需求单号内容：
？？？ 提供数据方式：
数据库、文件、接口 详细的数据口径：？？？ 位置配置参数（技术研发部补充）
配置参数 参数取值 服务器地址 必填 数据库端口 必填 数据库名称 必填 用户名 必填 密码 必填 表名 必填，test1 必填，test2 取数口径（sql或者文字说明）
选填，单表部分字段、多表关联的请填写。

接入模型字段（仓库组补填）
字段名 注释 字段类型 源表字段 必填 必填 必填 必填 必填 必填 必填 必填 抽取参数（仓库组补填）
配置参数 参数取值 抽数周期 每天 抽数时间 7:00 增量标识 1：全量，2：增量 数据日期格式 增量数据，需要提供数据日期格式，可选如下。

时间戳 Yyyymmdd Yyyy-mm-dd 清洗转换规则（仓库组补填）
由仓库组补充，不限于数据清洗过滤、字段编码转换、敏感信息转换、接入阀值设置等等。

装载目标表（仓库组补填）
配置参数 参数取值 stg层表名称 必填 stg层表描述 必填 ods层表名称 必填 ods层表描述 必填 取数位置（仓库组补充，分析组验收）
密码等验证信息私下提供。

数据库方式：
数据库连接方式：
表名：
字段名 注释 字段类型 必填 必填 必填 必填 必填 必填 文件方式：
服务器位置：ip：port 文件位置：
接口方式：
接口URL：
数据接口列表 售前 支付 财务 供应链 系统管理/基础平台 流程中心 移动应用 商业智能 智能家居 装模 运营监控 效果图 平台效果图 l 需求单号 tapd需求单号：1002513 提起人：廖先哲martin.liao 需求目的：
了解平台效果图运营现状，整合数据效果较好的图片用于APP效果图栏目运营，根据用户标签不断优化运营方向。

数据指标：
1. 平台现有图总量、各个分类下的效果图数量 2. 表头：图片URL地址、上传时间、分类、标签、来源 - 历史收藏量最高的前5000张图 - 2017-2018.4.24 收藏量最高的前5000张图 - 历史分享量最高的前5000张图 - 2017-2018.4.24 分享量最高的前5000张图 - 历史浏览量最高的前5000张图 - 2017-2018.4.24 浏览量最高的前5000张图 - 历史登记转化最高前5000张图 - 2017-2018.4.24 登记转化最高前5000张图 3. 热门的分类和标签有哪些? 4.用户搜索最多的关键词有哪些？（排名前20个）
l 位置配置参数 配置参数 参数取值 服务器地址 必填 数据库端口 必填 数据库名称 必填 用户名 必填 密码 必填 表名 必填，test1 必填，test2 取数口径（sql或者文字说明）
选填，单表部分字段、多表关联的请填写。

l 目标字段列表（仓库组补充）
字段名 注释 字段类型 源表字段 必填 必填 必填 必填 必填 必填 必填 必填 l 抽取参数（仓库组补充）
配置参数 参数取值 抽数周期 每天 抽数时间 7:00 增量标识 1：全量，2：增量 数据日期格式 增量数据，需要提供数据日期格式，可选如下。

时间戳 Yyyymmdd Yyyy-mm-dd l 清洗转换规则（仓库组补充）
由仓库组补充，不限于数据清洗过滤、字段编码转换、敏感信息转换、接入阀值设置等等。

l 装载目标表（仓库组补充）
配置参数 参数取值 stg层表名称 必填 stg层表描述 必填 ods层表名称 必填 ods层表描述 必填 兔信-售前 兔信-交付 大数据中心报表平台