Spark+ES+ClickHouse构建DMP用户画像

主讲:小简同学课时:15小时
行业竞争越来越激烈，精细化经营成为各企业取胜的秘籍。用户画像系统作为提供精准用户数据的重要来源

课程介绍

Spark+ES+ClickHouse 构建DMP用户画像大数据主流技术，数据挖掘核心算法，用户画像完整知识一课轻松掌握行业竞争越来越激烈，精细化经营成为各企业取胜的秘籍。用户画像系统作为提供精准用户数据的重要来源，已经成为企业必备的核心平台，人才缺口大，薪资高。本课程将基于大数据主流技术，数据挖掘核心算法，带你打造企业实用的用户画像平台，提升你的个人竞争力。

适合人群
工作1-2年的大数据开发工程师
对用户画像，DMP平台感兴趣的小伙伴
技术储备
熟悉 Springboot 基础操作
了解 Spark/Scala 基本语法
对常见算法有基本了解
环境参数
spark 2.3.0 – 2.4.x
clickhouse 21.3.4
hive 2.3.2 -- 3.1.x
hadoop 2.7.4 -- 3.2.x
hbase 1.2.6 -- 2.3.x
es 5.6.7 – 7.x
zookeeper 3.5.8phoenix 4.13.1 – 5.1.x另:
1：《Spark+ES+ClickHouse 构建DMP用户画像》来自某课网，原价399，由编程猿整理发布！编程猿承诺，本站所有课程百分百高清，完整，原画，包含所有的视频+素材+课件+源码，官方同步体验！2：本站所有课程格式MP4格式无密 可以通过网盘在线学习也可下载到本地，方便快捷！
3： 所有课程全部支持试看任何章节，可通过点击右侧官方微信扫码添加要求试看！
4：官方品质，信誉保证，本站包含某课网,某讯课堂,某易云,饥人谷,某度教育....等上万部课程正在陆续更新，感谢同学们的信任与支持，保证让同学们满意！
5：所有课程都会包更新，只要官方更新本站延迟2-3天就会更新。
6：爱好学习，一直提升自己的小伙伴可以开通会员，享受全站免金币无限制畅快学习！7：点击下方链接进行试看，在线看默认流畅，调节成原画，最好直接下载到本地是超清！试看链接：https://pan.baidu.com/s/1HBKWkCCq9d19-iKz35nZDA提取码：lt6z如需咨询请点击章节目录：
第1章 DMP用户画像项目介绍 试看 5 节 | 33分钟本章将向大家介绍什么是DMP，并辅以行业数据说明DMP的重要性和行业前景，并介绍课程讲解项目所会使用到的大数据技术，框架、版本以及推荐得学习方法。
收起列表视频：1-1 关于这门课，你需要知道的 (08:34)试看视频：1-2 DMP项目的意义和课程的侧重点 (09:46)视频：1-3 DMP项目架构及各个模块介绍 (09:35)视频：1-4 项目技术选型及各组件版本 (04:30)图文：1-5 【知识点梳理】本章重难点总结第2章 项目环境搭建 试看 15 节 | 152分钟本章将带领大家一起来学习，如何用 docker 一键部署开发环境；如何实现 Hive 数仓的数据导入；实用工具类的代码编写等，完成开发前得准备工作。
收起列表视频：2-1 本章重点及学习计划 (01:59)视频：2-2 基于docker一键部署大数据开发环境 (12:34)试看视频：2-3 环境搭建的常见问题及解决方案 (05:18)视频：2-4 数据准备：表结构和数据导入Hive数仓 (16:06)视频：2-5 数据准备：Hive数仓和Hbase同步标签数据 (15:50)视频：2-6 Springboot+JdbcTemplate+druid整合Hive（上） (11:58)试看视频：2-7 Springboot+JdbcTemplate+druid整合Hive（下） (13:26)视频：2-8 Springboot+Mybatis+phoenix整合Hbase (30:48)视频：2-9 Springboot整合ClickHouse（上） (17:00)视频：2-10 Springboot整合ClickHouse（下） (06:32)视频：2-11 Spark+phoenix整合Hbase (19:53)图文：2-12 【知识点梳理】本章重难点总结--环境部署注意事项图文：2-13 【知识点梳理】本章重难点总结--安装中得踩坑秘笈图文：2-14 【知识点梳理】本章重难点总结--Hive和Hbase存储结构图文：2-15 【知识点梳理】本章重难点总结--表结构和数据导入方法第3章 DMP和用户画像 7 节 | 27分钟本章会介绍，用户画像的生成流程，画像的标签维度，用户画像和特征工程的关系。带领大家了解什么样的画像才是高质量的用户画像，以及DMP用户画像的使用场景。
收起列表视频：3-1 本章重点及学习计划 (01:39)视频：3-2 用户画像是如何生成的 (05:34)视频：3-3 用户画像的标签维度 (04:12)视频：3-4 如何构建高质量的用户画像 (06:31)视频：3-5 用户画像和特征工程 (03:30)视频：3-6 DMP用户画像的正确使用场景 (04:49)图文：3-7 【知识点梳理】本章重难点总结第4章 用户画像搭建之特征工程 16 节 | 189分钟本章会详细的讲解数值型特征，类别型特征，文本型特征的特征处理，以及特征交叉的算法 FM，特征筛选的算法 gbdt 和 xgboost。并会带领大家应用 Spark 代码实现商品评论的情感提取，以及基于 xgboost 的特征筛选。
收起列表视频：4-1 本章重点及学习计划 (02:59)视频：4-2 特征工程流程 (06:08)视频：4-3 数值型数据的特征提取 (07:32)视频：4-4 文本型数据的特征提取 (07:48)视频：4-5 使用Spark实现中文分词+TF-IDF (17:34)视频：4-6 Spark基于TF-IDF+SVM实现电商商品评论情感提取（上） (15:32)视频：4-7 Spark基于TF-IDF+SVM实现电商商品评论情感提取（下） (13:57)视频：4-8 类别型和时间型数据的特征提取 (06:48)视频：4-9 构建新特征之特征交叉 (04:50)视频：4-10 基于FM的特征交叉 (10:22)视频：4-11 Spark实现基于FM的特征交叉 (41:32)视频：4-12 特征筛选之GBDT和xgboost (14:16)视频：4-13 Spark实现基于Xgboost的特征筛选（上） (19:56)视频：4-14 Spark实现基于Xgboost的特征筛选（下） (13:41)视频：4-15 特征监控方案设计 (05:27)图文：4-16 【知识点梳理】本章重难点总结第5章 用户画像搭建之标签体系构建 11 节 | 139分钟本章会详细的讲解，如何通过TF-IDF生成标签的权重；用户行为偏好标签的计算；标签在Hbase的存储格式；以及如何使用ES存储Hbase的索引，进而提高复杂组合标签的查询效率。
收起列表视频：5-1 本章重点及学习计划 (01:38)视频：5-2 电商行业的标签体系以及reachCTR曲线 (11:24)视频：5-3 用户行为标签的ES存储 (27:21)视频：5-4 基于TF-IDF的标签权重算法（上） (13:19)视频：5-5 基于TF-IDF的标签权重算法（中） (11:06)视频：5-6 基于TF-IDF的标签权重算法（下） (10:32)视频：5-7 时间衰减因子和用户偏好标签的计算（上） (18:35)视频：5-8 时间衰减因子和用户偏好标签的计算（下） (20:58)视频：5-9 ES构建Hbase二级索引对标签进行组合查询 (19:36)视频：5-10 商品标签与用户画像标签的匹配度 (04:10)图文：5-11 【知识点梳理】本章重难点总结第6章 用户画像搭建之群体用户画像构建12 节 | 142分钟本章会讲解，如何通过朴素贝叶斯，实现用户性别预测，基于RFM模型对用户价值进行分群，基于K-Means对用户的消费等级进行分群，并会带领大家认识用户分群的时间衰减因素。
收起列表视频：6-1 本章重点及学习计划 (01:21)视频：6-2 朴素贝叶斯分类算法 (09:25)视频：6-3 使用Spark-ml实现基于朴素贝叶斯预测性别（上） (18:23)视频：6-4 使用Spark-ml实现基于朴素贝叶斯预测性别（中） (19:55)视频：6-5 使用Spark-ml实现基于朴素贝叶斯预测性别（下） (05:05)视频：6-6 基于RFM模型的用户价值划分及Spark代码（上） (06:03)视频：6-7 基于RFM模型的用户价值划分及Spark代码（下） (21:38)视频：6-8 使用Spark-ml实现基于Kmeans的用户消费分群 (26:16)视频：6-9 通过订单数据挖掘用户的的行为属性及Spark代码（上） (15:42)视频：6-10 通过订单数据挖掘用户的的行为属性及Spark代码（下） (08:19)视频：6-11 DMP的用户分群 (09:38)图文：6-12 【知识点梳理】本章重难点总结第7章 用户画像搭建之DMP人群管理15 节 | 149分钟本章会通过 DMP 演示如何管理人群标签，生成人群包数据，人群圈选，以及人群扩展。并且使用 Clickhouse 做人群洞察分析。
收起列表视频：7-1 本章重点及学习计划 (01:33)视频：7-2 通过不同算法给用户打上标签后的业务应用 (04:38)视频：7-3 ES，ClickHouse导入万级人群标签数据 (17:18)视频：7-4 Mysql导入标签数据 (06:18)视频：7-5 DMP的标签管理 (12:53)视频：7-6 DMP生成人群包数据 (19:16)视频：7-7 人群组合和人群去重 (22:56)视频：7-8 lookalike的主要算法 (04:14)视频：7-9 ClickHouse和ES在人群圈选上的对比 (05:40)视频：7-10 ClickHouse集成Bitmap (10:50)视频：7-11 基于宽表的ClickHouse人群圈选 (04:40)视频：7-12 将Hive数据导入到ClickHouse (10:33)视频：7-13 将Hive数据转换为ClickHouse的Bitmap (11:33)视频：7-14 基于Bitmap的ClickHouse人群圈选 (16:05)图文：7-15 本章知识点梳理第8章 项目展示及版本升级解决方案7 节 | 90分钟本章会模拟生产环境集群的形式，展示项目实际运行效果，并结合框架版本升级，讲解踩坑秘笈。
收起列表视频：8-1 项目完整演示（上） (14:55)视频：8-2 项目完整演示（下） (12:51)视频：8-3 Spark模块本地运行完整演示 (05:58)视频：8-4 Spark模块集群运行完整演示（上） (16:56)视频：8-5 Spark模块集群运行完整演示（下） (14:27)视频：8-6 版本升级解决方案 (04:14)视频：8-7 课程总结 (20:05)本课程已完结