网盘：百度 | 学分：5，VIP免费 | 发布：2023-03-06 | 查看：0 | 更新：2023-06-14 | Java
【JAVA】Spark + ElasticSearch 构建电商用户标签系统实现精准营销
网盘：百度 | 学分：5，VIP免费 | 发布：2023-03-06 | 查看：0 | 更新：2023-06-14 | Java
【JAVA】Spark + ElasticSearch 构建电商用户标签系统实现精准营销
课程利用 Spark + ElasticSearch 构建用户标签系统，利用 Docker+Docker Compose 实现项目的一键启停。涵盖数据同步、数据清洗、用户标签化等步骤，带你领略企业级数据平台的开发流程。
第1章 课程介绍与学习指南 2 节 | 12分钟
第2章 开发环境与技术栈介绍 6 节 | 21分钟
本章主要针对课程中应用的开发环境以及技术栈进行相关介绍。本课中会使用，虚拟化技术： virtualbox + vagrant，容器化技术：Docker + Docker-compose。技术栈涉及spark，HADoop，hive等。
第3章 大数据环境搭建 18 节 | 113分钟
本章主要讲解开发环境的搭建，虚拟机与Docker的安装。针对没有Docker基础的同学，我们也会涵盖部分基础知识，从而实现轻松上手。针对容器化的开发环境，我们会详细演示，如何去解决访问和数据持久化。本次环境搭建会配合详细操作文档，方便同学们本地复现。…
图文：3-2 virtualbox , vagrant 你安装好了吗？
视频：3-3 virtualbox安装ubuntu (06:08)
视频：3-10 zsh shell辅助软件安装与配置 (11:26)
视频：3-15 本章作业 (03:56)
第4章 itag用户标签系统介绍7 节 | 31分钟
相较于现有业务的局限性，这章中我们会来共同来探讨标签系统的设计理念。通过UI初步讲解标签的数据含义，结合MySQL数据库表结构，去理解业务和标签的实现算法，更为详细的标签算法及ETL清洗逻辑在后续章节会做详细讲解。…
视频：4-7 本章作业 (03:16)
第5章 数据同步13 节 | 100分钟
针对数据同步技术，本章中会介绍一些常用的数据同步中间件，以及实际项目中数据库同步至大数据集群的架构迭代（画图）。随后会演示利用sqoop导入数据到hive中。并学习如何对hive进行实际操作。
视频：5-8 Hive外部表介绍 (09:21)
视频：5-9 sqoop 安装与配置 (12:55)
图文：5-11 hiver-server中安装sqoop，替换apt源
第6章 数据清洗12 节 | 108分钟
本章中主要讲解大数据项目中数据与业务的关系，数据血缘，数据平台，数仓等相关概念。讲解如何利用spark进行数据操作。分别从spark Java，spark scala以及spark sql 三种不同实现方式进行代码演示与对比。
作业：6-12 【讨论题】你真的了解ETL吗？
第7章 指标算法及标签ETL18 节 | 227分钟
本章中将根据产品文档，利用spark sql + spark scala 的方式实现标签ETL。会讲述ES mapping 的设计，演示如何利用spark操作ES，并最终对全流程数据做验证与复盘。
第8章 itag UI10 节 | 127分钟
本章中将介绍如何应用sPringboot + vue 实现项目的前端UI。用户选择特定标签后，ES背后的查询逻辑。对于查询的结果，标签清洗结果，数据库原始结果做一个验证。并最终将UI项目通过Docker容器的方式部署起来。
视频：8-1 本章介绍 (04:22)
第9章 课程总结5 节 | 56分钟
*声明：课程资源购自网络，版权归原作者所有，仅供参考学习使用，严禁外传及商用，若侵犯到您的权益请联系客服删除。
