Abot

在 .NET 技术栈中，如果你需要一个高性能、可扩展、不过度设计的网页爬虫框架，Abot是一个绕不开的选择。它是一个开源的 C# Web Crawler Framework，核心目标只有两个：快，以及足够灵活。

Abot 把复杂、繁琐的底层工作全部包揽下来，列如多线程调度、HTTP 请求、链接解析、抓取策略控制等，而开发者只需要通过事件或接口，专注于“页面抓下来之后我想干什么”。

推荐一个基于 C# 开发的高性能、可扩展的 Web 爬虫框架

核心特点一览：为什么选择 Abot？

快，而且是真的快

Abot 天生为并发和高吞吐而设计，内置线程管理与调度器，能够在保证“礼貌爬取”的前提下，最大化抓取效率。

高度可定制的可插拔架构

从是否抓取页面、是否下载内容、是否继续爬链接，到线程管理、调度器、HTTP 请求器、链接解析器，几乎所有关键行为都可以替换。

你可以：

用配置控制常见行为
用回调快速加规则
用接口实现完全接管爬虫逻辑

单元测试覆盖率高

Abot 不是“玩具型爬虫”，而是一个经过大量单元测试验证的工程化框架，适合长期维护的项目使用。

轻量、纯净、无外部依赖

拿来即用，超级适合做 数据采集工具、搜索引擎原型、站点分析系统。

推荐一个基于 C# 开发的高性能、可扩展的 Web 爬虫框架

版本与兼容性说明

Abot ≥ 2.0

基于 .NET Standard 2.0
可运行在 .NET Framework / .NET Core / .NET 6+ 等环境

Abot

这让 Abot 在老项目和新项目中都具备很强的适配能力。

快速上手：几分钟跑起来一个爬虫

1️⃣ 使用 NuGet 安装

Install-Package Abot

一个最简单的爬虫示例

var config = new CrawlConfiguration
{
MaxPagesToCrawl = 10,
MinCrawlDelayPerDomainMilliSeconds = 3000
};

var crawler = new PoliteWebCrawler(config);
crawler.PageCrawlCompleted += (s, e) =>
{
Console.WriteLine(e.CrawledPage.Uri);
};

await crawler.CrawlAsync(new Uri("https://example.com"));

不需要复杂配置，就能完成一个遵守 robots、支持并发、可监听事件的爬虫。

深度可定制的爬虫行为

爬取决策（CrawlDecision）

你可以通过委托快速决定：

这个页面要不要爬？

页面内容要不要下载？

页面里的链接还要不要继续爬？


crawler.ShouldCrawlPageDecisionMaker = (page, context) =>
{
if (page.Uri.Authority.Contains("google.com"))
return new CrawlDecision { Allow = false };
return new CrawlDecision { Allow = true };
};