Bitzsoft.Integrations.AI.Testing 1.1.0

Bitzsoft.Integrations.AI.Testing

面向 AI、Agent 与 MCP 连接器下游宿主的独立测试支持包。聚合全部无测试框架锁定（不传递引入 xUnit / NUnit / MSTest）的存储端口契约测试基类、进程内测试替身、受控时钟以及基于 Microsoft.Extensions.AI.Evaluation 的 FDE 黄金数据集评估运行器。

安装与兼容性

dotnet add package Bitzsoft.Integrations.AI.Testing

• 目标框架：net8.0;net10.0（全面开启 <IsAotCompatible>true</IsAotCompatible>，零反射序列化）；
• 仅面向宿主的 *.Tests 测试项目安装，严禁被生产运行时程序集引用；
• 核心生产包（AI.Governance、AI.Conversation 等）对本包保持零依赖。

契约测试基类列表

测试替身与 FDE 黄金评估运行器

• AITestFakeTimeProvider：可控 TimeProvider 测试时钟，支持确定性推进租约过期与限流时间窗口；
• AITestFakeChatClient：可脚本化队列、流式分片、TTFT 时钟快进、工具调用仿真及调用轨迹审计的 IChatClient 替身；
• AITestFakeCacheEpochCoordinator：支持可用性故障开关、单调纪元计数与 TTL 过期的 IAICacheEpochCoordinator 替身；
• AITestFakeOutboundRedactor：支持敏感词替换规则、跨境区域阻断策略及调用审计的 IAIOutboundRedactor 替身；
• AITestInMemoryProviderCatalogStore：内置多租户与工作区过滤及健康事件追踪的 IAIProviderCatalogStore 进程内参考实现；
• AIGoldenEvaluationRunner：基于 Microsoft.Extensions.AI.Evaluation 10.11.0 组合 IEvaluator / CompositeEvaluator，统一检验回答质量、TTFT / 总延迟预算、FinOps 成本上限、出站脱敏放行与工具调用路径。

完整最小示例

下面演示结合 AITestFakeTimeProvider、AITestFakeChatClient、AITestFakeOutboundRedactor 与 AIGoldenEvaluationRunner 执行单条黄金评估验证：

using Bitzsoft.Integrations.AI.Abstractions;
using Bitzsoft.Integrations.AI.Testing;
using Microsoft.Extensions.AI;

var clock = new AITestFakeTimeProvider(new DateTimeOffset(2026, 11, 14, 0, 0, 0, TimeSpan.Zero));
var chatClient = new AITestFakeChatClient(clock)
    .EnqueueTextResponse(
        "已完成股权转让协议违约责任条款合规核查。",
        usage: new UsageDetails { InputTokenCount = 1_000, CachedInputTokenCount = 400, OutputTokenCount = 200 },
        toolCalls: [new FunctionCallContent("call-1", "query_contract_clauses")],
        timeToFirstToken: TimeSpan.FromMilliseconds(120),
        interTokenDelay: TimeSpan.FromMilliseconds(30));

var redactor = new AITestFakeOutboundRedactor()
    .AddSensitiveTerm("440301199001011234", "[ID_REDACTED]");

var runner = new AIGoldenEvaluationRunner(new AIGoldenEvaluationOptions
{
    TimeProvider = clock,
    OutboundRedactor = redactor,
    DefaultPricing = new AIFinOpsModelPricing(InputPricePerMillion: 2.0m, OutputPricePerMillion: 8.0m, CachedInputPricePerMillion: 0.5m),
});

AIGoldenCaseReport report = await runner.EvaluateCaseAsync(
    chatClient,
    new AIGoldenEvaluationCase
    {
        CaseId = "contract-review-001",
        Messages = [new ChatMessage(ChatRole.User, "请审查当事人 440301199001011234 的违约责任条款。")],
        RequiredResponseSubstrings = ["违约责任"],
        ForbiddenLeakedTerms = ["440301199001011234"],
        MaxTimeToFirstTokenMs = 300,
        MaxTotalLatencyMs = 800,
        MaxEstimatedCost = 0.05m,
        ExpectedToolCalls = ["query_contract_clauses"],
    });

Console.WriteLine($"Passed={report.Passed}, TTFT={report.TimeToFirstTokenMs}ms, Cost={report.EstimatedCost} {report.CurrencyCode}");