# Investibook 得分

## 摘要

Investibook 是一个较强的内部 agent 应用，但还不是 application factory。

按这个 framework 的目标来看，它当前更接近：

```text
P1.5: 强于 controlled trial，接近内部 P2，但还不是完整生产级 P2
```

如果只限定在可信内部故障诊断流程，Investibook 接近早期 P2。  
如果按可承载多业务应用、多租户、外部生产服务的 framework 评估，它仍然处在 P1 到 P2 之间。

## 分数

| 核心技术维度 | 分数 | 判断依据 |
|---|---:|---|
| Application Factory Efficiency | 2.8 | 有成熟的诊断应用、skill/runtime 模式，但还没有证明可以稳定、重复、快速地长出多类业务应用。 |
| Reliability & Correctness | 4.0 | evidence contract、compact report、eval artifact、并发写保护、backend postpass 等方面比较成熟。 |
| Security & Governance | 2.4 | 设计起点是内部工具。有 auth，但 SaaS 级 tenant isolation、scoped credentials、DLP、retention、approval governance 不是当前设计中心。 |
| Scalability & Performance | 3.6 | evidence collection 并行化、context compaction、runtime efficiency 做得较多；但 tenant 级 scheduling、backpressure、quota governance 还不完整。 |
| Cost Efficiency | 3.2 | eval/reporting 里已有 token/cost 追踪，但 budget enforcement、billing isolation、per-tenant quota 还不是一等能力。 |
| Continuous Improvement | 4.3 | 这是 Investibook 最强的维度之一：eval registry、baseline、audit artifact、regression loop、telemetry 和 failure-driven iteration 已经形成闭环。 |

加权分：**3.35 / 5**

## 强项维度

### Reliability & Correctness

Investibook 已经有一些接近生产系统的契约：

- File-first evidence model。
- raw evidence 和 compact summary 分层。
- `workspace_evidence_report.json` 作为 canonical compact evidence surface。
- backend postpass 负责 authored analysis。
- 通过 shared lock 和 atomic writes 保护并发 evidence mutation。
- eval snapshot 和可重新判定的 artifact。

相关参考：

- `evaluation/README.md`
- `docs/plans/2026-04-15-agent-evidence-file-channel-design-plan.md`
- `docs/plans/2026-04-15-evidence-context-compaction-plan.md`
- `docs/plans/2026-05-28-concurrent-clinic-cli-evidence.md`
- `docs/fixes/2026-04-17-collect-evidence-perf.md`

### Continuous Improvement

Investibook 已经有明确的 improvement loop：

- regression suite registry。
- 每个 eval case 使用 fresh workspace。
- baseline promotion。
- audit artifact export。
- case-level report 和 judgment。
- report 中记录 token、cost、duration、model metadata。

这使它明显强于一次性的 agent app，更接近一个 eval-driven operational product。

## 弱项维度

### Security & Governance

Investibook 的主要生产差距在 governance：

- 有内部用户可信假设。
- admin privilege 主要绑定 backend `ADMIN_EMAILS`，不是完整 role/scope system。
- API key 是 credential，不是完整 scoped authorization model。
- workspace access 和业务数据边界没有按外部 multi-tenant SaaS 设计。
- raw logs、SQL snippets、cluster metadata、tenant/org metadata、downloaded evidence 如果进入外部生产，需要更强 DLP/retention policy。

### Application Factory Efficiency

Investibook 是成熟应用，但还不是 factory：

- 可以通过 skills 和 evidence contracts 扩展诊断能力。
- 但还没有证明新业务应用可以基于共享 platform contract 被重复 scaffold、test、deploy、govern。

## 阶段判断

| 阶段 | 判断 |
|---|---|
| P0: Application can be generated | 对诊断应用本身已通过。 |
| P1: Controlled trial | 对内部可信诊断 workflow 已通过。 |
| P2: Production service | 部分满足。内部 P2 成立的可能性较高；外部/multi-tenant P2 还不满足。 |
| P3: Leading value | 作为 framework 尚未证明；在诊断质量和迭代速度上已有部分价值证据。 |

## 结论

Investibook 最适合作为这些方向的参考：

- evidence architecture。
- context compaction。
- eval-driven improvement。
- agent runtime observability。
- 聚焦业务应用内的 cost/performance instrumentation。

它暂时不适合作为这些方向的参考：

- multi-tenant SaaS governance。
- per-tenant credentials and quota。
- DLP/retention/compliance workflow。
- generic application factory mechanics。