|
所在平台: Udemy |
课程主页: https://www.udemy.com/course/real-time-creditcard-fraud-detection-using-spark/
课程评论：没有评论
课程名称：使用 Spark 2.2 进行实时信用卡欺诈检测 课程概述： 本课程介绍了如何使用 Spark、Kafka 和 Cassandra 构建一个实时信用卡欺诈检测系统。课程内容涵盖了使用 Spark ML Pipeline 功能（如 String Indexer、One Hot Encoder 和 Vector Assembler）对数据进行预处理。学习者将了解如何使用随机森林算法构建机器学习模型，并采用 K-means 算法进行数据平衡。课程还深入讲解了 Spark Streaming 作业与 Kafka 和 Cassandra 的集成，以及如何通过 Spark Streaming 的自定义偏移量管理实现“精确一次”语义。最后，课程将演示如何使用 Airflow 自动化框架在 Spark Standalone 集群上自动化 Spark 作业。
Real-time Credit card Fraud Detection is implemented using Spark Kafka and Cassandra. Spark ML Pipeline Stages like String Indexer, One Hot Encoder and Vector Assembler is used for Pre-processing Machine Learning model is created using the Random Forest AlgorithmData balancing is done using K-means Algorithm Integration of Spark Streaming Job with Kafka and CassandraExactly-once semantics is achieved using Spark Streaming custom offset managementAirflow Automation framework is used to automate Spark Jobs on Spark Standalone Cluster.
