|
所在平台: Udemy |
课程主页: https://www.udemy.com/course/webscraping-com-scrapy/
课程评论：没有评论
**课程名称：** 使用 Scrapy 进行 Web 抓取 **课程简介：** 本课程旨在教授学员如何使用 Python 和 Scrapy 框架进行高效的 Web 抓取。课程内容丰富，包含超过 70 节课，时长超过 12 小时，涵盖了对静态和动态网站抓取的多种知识和方法。 **核心学习内容：** * **Scrapy 框架入门与进阶：** 学习使用 Scrapy 的标准 Spider 和 CrawlSpider。 * **动态网站抓取：** 掌握处理需要 JavaScript 渲染的网站，包括使用 `scrapy-selenium` 集成。 * **数据提取与处理：** * 学习提取 APIs 数据。 * 理解并应用 ORM（对象关系映射）。 * 集成 NoSQL 和 SQL 数据库。 * 处理动态分页。 * **性能优化与部署：** * 学习高效的 Web 抓取实践。 * 了解并配置 Pipelines 以提升 Spider 性能。 * 学习使用代理（proxies）。 * 将 Spider 部署到 Render 并集成 Flask Web 应用。 * **合规性：** 学习如何遵守网站政策和最佳实践。 **先修知识：** 建议具备 Python 基础知识。课程中会涵盖部分基础概念，以帮助学员循序渐进。 **课程目标：** 完成本课程后，学员将能够熟练运用 Scrapy 框架应对各种 Web 抓取挑战，高效、可靠地提取数据，并能将所学技能应用于市场研究、数据分析等领域。
Deseja aprender a fazer webscraping com o melhor framework do mercado, usando Python e Scrapy? Este curso abrange mais de 70 aulas e oferece mais de 12 horas de conteúdo, abordando uma variedade de conhecimentos e abordagens para sites dinâmicos e estáticos.Ao longo do curso, você aprenderá a utilizar proxies, as melhores práticas de webscraping, como implantar suas spiders no render e integrá-las a um aplicativo web Flask. Além disso, você descobrirá como fazer integração com bancos de dados NoSQL e SQL, utilizar ORM (Object-Relational Mapping), lidar com paginação dinâmica com JavaScript, integrar com o scrapy-selenium para acessar sites que exigem JavaScript e aprenderá a acessar sites sem a necessidade de JavaScript. Também serão abordadas técnicas para descobrir e extrair dados através de APIs, além de orientações sobre como seguir as políticas e as melhores práticas estabelecidas pelos sites.Para iniciar o curso, é recomendado ter um conhecimento básico de Python, embora muitos conceitos básicos sejam abordados para permitir que os alunos progridam. Além disso, você aprenderá a utilizar não apenas a spider padrão do Scrapy, mas também crawlspiders.Na parte avançada do curso, serão abordados tópicos como o entendimento de pipelines e como configurar itens para melhorar o desempenho de suas spiders. Essas técnicas avançadas irão aprimorar sua habilidade de webscraping, permitindo que você extraia dados de maneira eficiente e confiável de uma variedade de sites.Ao concluir este curso de webscraping com Python e Scrapy, você estará preparado para enfrentar desafios reais de extração de dados na web, dominando o uso do framework Scrapy e suas diversas funcionalidades. Não perca a oportunidade de se tornar um especialista em webscraping e aplicar essas habilidades para diversas finalidades, como pesquisa de mercado, análise de dados e muito mais. Matricule-se agora mesmo e expanda suas habilidades no mundo da programação!
