|
所在平台: Udemy |
课程主页: https://www.udemy.com/course/scrapy-splash-selenium-requests-bs4/
课程评论：没有评论
**课程名称：** 网站解析：Scrapy, Splash, Selenium, requests, bs4 **课程概述：** 本课程是为希望学习如何自动化从各种网站收集信息（即网站解析）的学习者准备的。**学习本课程需要具备Python基础知识。** 课程将重点介绍以下内容： * **核心解析库和框架：** 深入讲解如何使用 `requests`、`beautifulsoup4`、`Splash` 等库以及 `Scrapy` 和 `Selenium` 等框架来收集数据。 * **基础数据收集方法：** 掌握数据收集的基本方法。 * **道德解析：** 探讨道德解析的概念，以及如何在遵循法律和尊重权利的前提下进行数据抓取。 * **实操技能：** * 安装和配置所需的解析库。 * 理解 `robots.txt` 的作用。 * 获取网站的HTML内容以便提取信息。 * 使用XPath精确定位网页元素。 * 实现多页网站的页面跳转。 * 创建Scrapy项目并运行爬虫。 * 抓取单个商品的所有详细信息，并实现商品详情页的跳转。 * 处理使用JavaScript动态加载内容的网站。 * 使用Selenium实现网站登录。 * 通过模拟用户操作，抓取无限滚动页面。 **学习目标：** 完成本课程后，学员将能够： * 了解并掌握常用解析库和框架的安装与使用。 * 理解并实践道德解析原则。 * 熟练运用Python进行网站数据的自动化收集。 **目标受众：** 本课程适合对网站解析感兴趣并具备Python基础知识的学习者。 **请注意：** 对于已经了解网站解析基础知识并能够独立编写数据自动化采集脚本的学习者，本课程的吸引力可能不大。
Этот курс предназначен для тех, кто хочет научиться автоматизированному сбору информации с различных сайтов, то есть парсингу. Для прохождения курса требуются базовые знания питона.На лекциях будут рассмотрены основные подходы к сбору данных с использованием таких библиотек, как requests, beautifulsoup4 и splash, а также фреймворков Scrapy и Selenium.В этом курсе рассматриваются основные базовые подходы к сбору данных, а также затрагивается вопрос этичного парсинга. По итогам курса студенты будут иметь базовое представление о том, как парсить различные сайты, используя Python.Этот курс будет не очень интересен тем, кто уже имеет базовое представление о том, что такое парсинг и как создавать скрипты для автоматизированного сбора данных.После прохождения курса студенты будут знать:Как найти и установить необходимые библиотеки для парсинга данных.Что такое этичный парсинг, как не нарушить права и закон при парсинге данных.Для чего нужен файл robots.txt.Каким образом получать HTML сайта для извлечения необходимой информации.Как пользоваться xpath для указания точного расположения элементов на странице.Как переходить по страницам на многостраничном сайте.Как создавать проект и запускать «пауков» Scrapy.Как парсить всю информацию о каждом товаре на сайте.Как осуществлять переход на страницу каждого товара.Каким образом парсить сайты, использующие JavaScript при загрузке.Как авторизовываться на сайте, используя фреймворк Selenium.Как парсить сайты с бесконечной прокруткой, имитируя действия пользователя на странице.
