C#中如何使用异步流处理大数据查询？示例代码是什么？-C#.Net教程-PHP中文网

C#中如何使用异步流处理大数据查询？示例代码是什么？

星降

发布： 2025-10-18 12:32:01

原创

919人浏览过

<p>异步流（IAsyncEnumerable<T>）可降低内存占用并提升响应性，适用于大数据查询。从C# 8.0开始，通过IAsyncEnumerable<T>实现边获取边处理数据，结合Entity Framework Core的AsAsyncEnumerable()或Dapper封装的流式读取，支持逐步返回结果。使用[EnumeratorCancellation]传递CancellationToken可控制取消，避免长时间运行导致资源浪费。典型应用场景包括分页、日志处理和报表导出，有效防止OutOfMemoryException并保持高吞吐。</p>

c#中如何使用异步流处理大数据查询？示例代码是什么？

在C#中处理大数据查询时，使用异步流（IAsyncEnumerable<T>）可以有效减少内存占用并提升响应性。它允许你一边从数据库或远程服务获取数据，一边逐步处理，而不是等待全部结果返回。

启用异步流查询

从 C# 8.0 开始，IAsyncEnumerable<T> 成为处理异步数据流的标准方式。结合 Entity Framework Core 或 Dapper 等 ORM，可实现高效的大数据查询。

以 Entity Framework Core 为例：

public async IAsyncEnumerable<Order> GetLargeOrderDataAsync([EnumeratorCancellation] CancellationToken cancellationToken = default)
{
    await foreach (var order in _context.Orders
        .Where(o => o.Status == "Shipped")
        .AsAsyncEnumerable()
        .WithCancellation(cancellationToken))
    {
        // 可在此处进行数据转换或过滤
        yield return order;
    }
}

登录后复制

调用该方法时：

await foreach (var order in service.GetLargeOrderDataAsync())
{
    Console.WriteLine($"Processing Order ID: {order.Id}");
    // 处理每条记录，无需加载全部到内存
}

登录后复制

结合 Dapper 使用异步流

Dapper 支持通过 QueryAsync 返回异步流。虽然原生不直接返回 IAsyncEnumerable，但可通过封装实现：

阿里云-虚拟数字人

阿里云-虚拟数字人是什么？ ...

查看详情

public async IAsyncEnumerable<Product> StreamProductsAsync([EnumeratorCancellation] CancellationToken ct)
{
    using var connection = new SqlConnection(connectionString);
    await connection.OpenAsync(ct);
<pre class='brush:php;toolbar:false;'>using var reader = await connection.ExecuteReaderAsync("SELECT Id, Name, Price FROM Products", cancellationToken: ct);

while (await reader.ReadAsync(ct))
{
    yield return new Product
    {
        Id = reader.GetInt32("Id"),
        Name = reader.GetString("Name"),
        Price = reader.GetDecimal("Price")
    };
}

登录后复制

}

控制取消与资源释放

使用 [EnumeratorCancellation] 参数可传递取消令牌，防止长时间运行的查询阻塞系统：

var cts = new CancellationTokenSource(TimeSpan.FromSeconds(30));
<p>await foreach (var item in StreamLargeDataAsync(cts.Token))
{
// 自动在超时后中断流
Process(item);
}</p>

登录后复制

基本上就这些。异步流适合分页场景、日志处理、报表导出等大数据量操作，避免 OutOfMemoryException，同时保持良好的吞吐能力。

以上就是C#中如何使用异步流处理大数据查询？示例代码是什么？的详细内容，更多请关注php中文网其它相关文章！