|
所在平台: Udemy |
课程主页: https://www.udemy.com/course/python-web-scraping-with-scrapy/
课程评论：没有评论
本课程是关于使用Python进行Web抓取和爬虫的课程，重点介绍Scrapy和Selenium框架。 **课程目标：** * 通过使用Python的Scrapy框架，快速提升数据收集能力。 * 学习比BeautifulSoup和Requests等传统库更高效的数据抓取方法。 * 掌握Scrapy框架的全面使用，包括数据提取、清理、存储以及处理动态网页、登录等复杂情况。 * 学习如何将抓取程序部署到云端并进行调试，以确保程序的稳定运行。 **课程内容：** * **Scrapy框架入门：** 介绍Scrapy框架的优势和基本原理，以及如何利用其内置的处理流程简化数据抓取。 * **数据抓取流程：** 学习如何从网页中获取、提取、清洗和保存数据，包括文本信息和图像文件。 * **高级抓取技巧：** * 处理网站链接跳转和多页面爬取。 * 应对JavaScript动态加载内容的网页。 * 处理需要登录的网站。 * **程序开发与部署：** * 搭建开发环境。 * 编写和调试Scrapy爬虫程序。 * 将爬虫程序部署到云服务器并进行稳定运行。 * **实战案例：** 通过多个实际网站的案例，讲解并应用所学知识，帮助学员掌握灵活应对不同网站变化和应用各种抓取场景的能力。 **核心理念：** 本课程强调通过Scrapy等专用框架，让开发者能够专注于核心的数据提取逻辑，减少重复性编码，从而更高效地获取和利用数据。同时，课程注重培养学员的通用能力，使其能够将所学知识灵活应用于各种不同的网站和场景。
本コースは、Pythonのスクレイピング専用フレームワークScrapyを用いたWebスクレイピング・クローリングにより、データ収集のスキルを短期間で劇的に向上させることを目的としたコースになります。今までのWebスクレイピングの方法では、BeautifulSoupやRequestsなど、複数のライブラリを継ぎはぎに組み合わせながら、多くのコーディングを行う必要がありました。この結果、スクレイピングの学習や作業に非常に多くの時間を費やし、せっかく取得したデータの活用に割ける時間が奪われてしまっていました。しかしスクレイピング専用のフレームワークであるScrapyの登場により、これは劇的に変わりました。フレームワークとは、全体の処理の流れがある程度、事前に組み込まれているソフトウェアの基盤になります。従って、面倒な多くのことはフレームワーク自体が行ってくれて、これによりデータの取得が容易になり、効率的に行うことができるようになりました。別のページへのリンクのたどり方や、どのデータを取得するかなど、最低限必要なコーディングだけを行えばよくなりました。さらに１つのフレームワークで実現するので、一貫性が保たれ、非常に高速にデータを取得することができます。これにより効率的にWebサイトからデータを取得することができ、データ取得の本来の目的であるデータの活用に、より多くの時間を割くことができるようになります。このコースでは、このPythonのスクレイピング専用フレームワークScrapyの使い方を、徹底的に解説していきます。【このコースで扱うトピック】このコースでは、実際の様々なWebサイトを例にスクレイピングを行い、データを取得していきます。しかし、人によってスクレイピングしたいサイトは異なりますし、サイトも日々変化していきます。このコースの基本的なコンセプトとして、これらの変化にも柔軟に対応し、他のWebサイトにも応用できるよう、スクレイピングにおいてポイントとなる箇所と対応方法をできるだけ幅広く解説しながら進めていきます。このコースで扱うトピックは、これらのものになります。1. スクレイピングの一連のプロセスをカバーします。 Webサイトから必要なデータを取得・抽出する方法、そして、取得したデータをきれいに整形したり、ファイルやデータベースに保存する方法を学びます。2. スクレイピングに関する幅広いスキルが身に付くよう、レクチャーを提供します。リンクをたどり、複数のWebページを巡回する方法JavaScriptを用いた動的なサイトへの対処、ログイン画面への対処テキスト情報・画像ファイルの取得方法3. Scrapyで開発したプログラムを安定的に運用できるスキルが身に付くよう、レクチャーを提供します。 開発環境の構築、開発方法だけでなく、クラウド上の環境で実行できるようにしたり、デバッグ方法についても、詳しく解説していきます。
