续昨天。
标签数据的开发，主要包括 离线标签开发、实时类标签开发、用户特征库开发、人群计算、打通数据服务层等开发内容。
离线标签
主要包含：统计类标签、规则类标签、挖掘类标签。
实时类标签
针对给用户展现实时性较强的场景：首页新人弹窗、新人红包
用户特征库
围绕用户每次行为明细记录相关数据，如用户浏览、搜索、收藏、下单等行为明细。一般该特征库按日做时间分区。
人群计算
应用在数据服务层之前，业务方需要组合用户的标签来筛选出对应的人群，通过人群计算功能组合标签划分出对应的人群。
打通数据服务区层，
将业务规则圈出来的用户人群推送到不同的业务系统上去。
统计类标签开发：
统计类标签指的统计用户相关数值、客观描述用户状态的标签,如用户的年龄、体重、累计购买金额、累计购买次数、近30日登陆次数等。
userid维度的用户标签表可按日分区，设计为如下结构：
案例1，离线标签
近30日购买行为这个二级类目进行拆解，可将其拆解为：付款订单量（ACTION_U_01_001)、总付款金额(ACTION_U_01_002)、加入购物车次数(ACTION_U_01_003)
将需要计算的标签从目标表中抽取出来：
union all 表示把各个结果集的数据按照列名进行合并，而且不会消除重复的数据。
比如第一个查询有100条两列，第二个查询结果也为160条两列，故使用union all之后，可以将这两个结果合并成一个，变成260行两列。
可参考csdn::https://blog.csdn.net/helloxiaozhe/article/details/88598003
保证每天作业将近30日的标签打在每个有相应行为的用户身上，单要做到增量获取用户最新状态，还需要做一层全连接关联。
举个常见的例子，某个用户前天购买了3单商品，如果昨天又购买了2单，则今天最新的状态是3+2=5单，替换掉前天3单的权重值，
如果昨天没有购买行为，则权重值仍为3.
关注下NVL（）函数，
NVL( string1, replace_with)：给值为NULL的数据赋值：如果string1为NULL，则NVL函数返回replace_with的值，否则返回string1的值；如果两个参数都为NULL ，则返回NULL。
给labelweight 赋值，如果最新的有数据t2.labelweight,则用最新的，否则用老的(t1.labelweight)。
上面脚本old_date_partition 为设置的一个日期变量，每日传入的数值都不同：
这段代码中对第二段代码做了一层Spark 封装，
另外，上面的代码做了一层Spark封装，可将第二段的HiveSQL语句提交到Spark集群上执行。提交Spark任务计算该标签
“spark-submit --master yarn --deploy-mode client --driver-memroy 1g --executor-memory 2g --executor-cores 2 --num-executors 50 userprfile_latest_30days_label.py start-date”
其中spark-submit的参数设置如下：
- deploy-mode:在本地（Client）启动Driver 还是在集群上（Cluster）启动Driver;
- driver-memory:Driver 端内存大小；
- executor-memory:Executor端内存大小；
- executor-cores:每个Executor 核数
- num-executors:启动Executor的数量。
class:如果是JAR或Scala程序的jar包，该参数对应应用程序的主类，对于提交的Python脚本，不用提交该参数。
解释下strptime:
解释下datetime. timedelta
old_date_partition = strftime(strptime(start_date_str，format) - datetime.timedelta(1),format) // 获取1天前的日期，按照format 输出（%Y%M%D)
month_day_ago = strftime(strptime(start_date_str，format) - datetime.timedelta(1),format) //获取一个月钱的日期，按照format输出（%Y%M%D)
用户最近30日购买行为标签
第一个用户 “44463729”
付款订单量（ACTION_U_01_001)： 付款订单量为3 ，一天就下三单，不错嘛。
第六个用户“32101029”
总付款金额(ACTION_U_01_002) ： 157元 ， 还可以啊，一天买了157块
第七个用户“23551034”
加入购物车次数(ACTION_U_01_003) ：16次，没买东西，看来转化不行啊。