|
所在平台: Udemy |
课程主页: https://www.udemy.com/course/best-scala/
课程评论：没有评论
课程名称：【韩文字幕】使用 Spark Streaming 和 Scala 进行大数据流式处理（实战篇） 课程概述： 本课程是关于使用 Spark Streaming 和 Scala 处理大数据流的实战教程，旨在帮助学员解决海量数据集问题，并能立即将所学应用于实际工作。课程亮点包括： * **与时俱进的内容**：已根据 IntelliJ 集成开发环境更新。 * **大数据分析的重要性**：强调大数据实时处理的价值，并介绍 Spark Streaming 作为处理海量数据集的快速发展技术，能够实现实时分析更新。 * **多样的实用案例**：将接触真实的实时 Twitter 数据、Apache 访问日志模拟趋势数据，甚至用于机器学习模型训练的数据。 * **实践导向**：学员将能在自己的电脑上编写和运行 Spark Streaming 作业。课程还将教授如何将作业部署到实际的 Hadoop 集群中进行生产环境运行。 * **强大的讲师团队**：由来自亚马逊和 IMDb 的资深管理人员和前工程师授课。 * **核心学习内容**： * Scala 编程语言的强化训练。 * 了解 Apache Spark 在集群中的运行方式。 * 使用 Spark Streaming 设置离散流并进行数据实时转换。 * 利用结构化流（Structured Streaming）进行 DataFrame 流式处理。 * 在滑动窗口中分析随时间变化的流式数据。 * 维护跨多个数据流的状态信息。 * 掌握 Spark Streaming 与 Kafka、Flume、Kinesis 等可扩展数据源的连接方法。 * 学习将数据流实时写入 Cassandra 等非关系型数据库。 * 对流式数据执行实时 SQL 查询。 * 使用流式数据实时训练机器学习模型，并实现持续改进的预测。 * 学习打包、部署和运行 Spark Streaming 代码到实际 Hadoop 集群，使用简化亚马逊大数据框架执行的管理集群平台。 * **学习支持**：学员可在 Q&A 区域提问（需用英语提问以便获得回复）。 课程结束后，学员将能够自信地使用 Scala 编写 Spark Streaming 脚本，有能力以全新的方式处理海量数据。
스파크 스트리밍과 스칼라로 빅데이터 스트리밍!대량의 데이터 세트를 해결하세요!실무에 바로 적용할 수 있습니다!스파크 스트리밍과 스칼라로 빅 데이터 스트리밍하기 (실전편) 강의를 선택해야 하는 이유현재 IntelliJ 통합개발환경에 맞춰 업데이트 됐습니다!"빅 데이터" 분석은 인기있고 대단히 가치있는 능력입니다. 중요한 건 "빅 데이터"의 흐름이 멈추지 않는다는 것입니다! 스파크 스트리밍은 대량의 데이터 세트를 생성할 때 처리하기 위한 새롭고 신속하게 개발되는 기술입니다 - 항상 실시간으로 분석 업데이트를 할 수 있는데 밤마다 분석을 해야할까요? 대형 웹사이트의 방문 사이트 동향 데이터, 대규모 "사물 인터넷" 배포의 센서 데이터, 재무 데이터 등 그 어떤 것이든 스파크 스트리밍은 데이터가 생성될 때 항상 데이터를 변환하고 분석할 수 있는 강력한 기술입니다.여러분은 아마존과 IMDb 선임 매니저와 전 엔지니어분으로부터 해당 내용을 배우게 될 것입니다.이 코스 과정에서는 실제 라이브 트위터 데이터, 아파치 액세스 로그의 시뮬레이션 동향, 그리고 심지어 머신러닝 모델을 훈련하는 곳에 사용되는 데이터까지 접해볼 수 있습니다! 직접 집에서 컴퓨터로 스파크 스트리밍 작업을 작성하고 실행해 볼 수 있습니다. 그리고 과정이 끝날 때쯤 여러분에게 실제 하둡 클러스터로 이러한 작업을 가져와서 생산 환경에서도 실행하는 방법을 보여줄 것입니다.이 교육과정은 매우 실용적이고 바로 수행 가능한 활동으로 구성되어 여러분의 교육을 강화하는 데 도움이 됩니다. 강의가 끝날 무렵, 여러분은 스파크 스트리밍 스크립트를 스칼라를 활용하여 자신있게 작성할 줄 알게되며, 완전히 새로운 방식으로 거대한 양의 데이터를 해결하는데 준비가 되어있을 것입니다. 스파크 스트리밍이 이 모든 걸 가능하게 했다는 사실에 매우 놀랄 것입니다!스파크 스트리밍과 스칼라로 빅 데이터 스트리밍하기 (실전편) 강의에서는 아래의 내용을 배울 수 있습니다: 스칼라 프로그래밍 언어로 된 집중 훈련을 수강하세요아파치 스파크가 클러스터에서 어떻게 운영되는지 알아보세요스파크 스트리밍으로 불연속의 스트림을 설정하고 데이터가 수신되면 변환할 수 있습니다실시간으로 구조화된 스트리밍을 이용하여 데이터 프레임으로 스트리밍합니다슬라이딩 윈도우에서 시간 경과에 따른 스트리밍 데이터 분석여러 데이터 스트림 전반에 걸쳐 상태 정보 유지하게 됩니다카프카, 플룸, 및 키네시스와 같은 확장성이 뛰어난 데이터 소스와 스파크 스트리밍을 연결하는 방법을 습득합니다카산드라와 같은 구조화 질의어만을 사용하지 않는 데이터베이스에 실시간으로 데이터 스트림을 폐기하는 방법스트리밍 된 데이터에 실시간으로 구조화 질의어 쿼리를 실행합니다스트리밍 데이터로 머신러닝 모델을 실시간으로 훈련하고, 이 모델을 사용하여 시간이 지남에 따라 계속 향상되는 예측을 할 수 있습니다아마존의 빅데이터 프레임워크 실행을 간소화하는 관리형 클러스터 플랫폼을 사용하여 자체적으로 내장된 스파크 스트리밍 코드를 실제 하둡 클러스터에 패키징, 배포 및 실행하는 방법을 배웁니다.강의를 들으시고 강의와 관련하여 궁금하신 점은 무엇이든 Q & A에 남기실 수 있지만, 꼭 영어로 남겨주세요. 그래야 답변을 드릴 수 있습니다.:)강의에서 만나요!
