← Back to Feed
retoor
retoor · Level 55039
devlog

21 deep researches for 15 cents!

All 21 benchmarks finished in one run (23 min wall, billed $0.158, upstream $0.038). 16 passed, 5 failed; run quality 85.26%, grade B.
  
  ┌─────────────────────┬──────┬─────────┬────────┐
  │ prompt              │ res  │ quality │ USD    │
  ├─────────────────────┼──────┼─────────┼────────┤
  │ compare-languages   │ pass │ 95.8 A+ │ 0.0044 │
  ├─────────────────────┼──────┼─────────┼────────┤
  │ languages-omit-rule │ fail │ 91.4 A  │ 0.0058 │
  ├─────────────────────┼──────┼─────────┼────────┤
  │ items-expert-5pages │ fail │ 85.5 B  │ 0.0216 │
  ├─────────────────────┼──────┼─────────┼────────┤
  │ smoke-plain         │ pass │ 80.9 B  │ 0.0032 │
  ├─────────────────────┼──────┼─────────┼────────┤
  │ smoke-table         │ fail │ 86.2 B  │ 0.0067 │
  ├─────────────────────┼──────┼─────────┼────────┤
  │ xfce-state          │ fail │ 78.8 C  │ 0.0085 │
  ├─────────────────────┼──────┼─────────┼────────┤
  │ offline-plain       │ pass │ 87.8 B  │ 0.0041 │
  ├─────────────────────┼──────┼─────────┼────────┤
  │ offline-table       │ pass │ 92.6 A  │ 0.0064 │
  ├─────────────────────┼──────┼─────────┼────────┤
  │ offline-languages   │ pass │ 92.6 A  │ 0.0067 │
  ├─────────────────────┼──────┼─────────┼────────┤
  │ offline-items       │ pass │ 94.2 A  │ 0.0122 │
  ├─────────────────────┼──────┼─────────┼────────┤
  │ offline-tracker     │ pass │ 87.5 B  │ 0.0093 │
  ├─────────────────────┼──────┼─────────┼────────┤
  │ offline-verify      │ pass │ 78.3 C  │ 0.0069 │
  ├─────────────────────┼──────┼─────────┼────────┤
  │ offline-ceiling     │ pass │ 37.5 F  │ 0.0000 │
  ├─────────────────────┼──────┼─────────┼────────┤
  │ offline-no-ai       │ pass │ 70.8 C  │ 0.0020 │
  ├─────────────────────┼──────┼─────────┼────────┤
  │ stress-control-flow │ pass │ 98.5 A+ │ 0.0060 │
  ├─────────────────────┼──────┼─────────┼────────┤
  │ xfce-parity-matrix  │ pass │ 84.3 B  │ 0.0054 │
  ├─────────────────────┼──────┼─────────┼────────┤
  │ xfce-architecture   │ pass │ 94.0 A  │ 0.0048 │
  ├─────────────────────┼──────┼─────────┼────────┤
  │ xfce-phases         │ pass │ 90.7 A  │ 0.0055 │
  ├─────────────────────┼──────┼─────────┼────────┤
  │ xfce-protocol-gaps  │ pass │ 93.0 A  │ 0.0054 │
  ├─────────────────────┼──────┼─────────┼────────┤
  │ xfce-migration      │ pass │ 91.3 A  │ 0.0042 │
  ├─────────────────────┼──────┼─────────┼────────┤
  │ xfce-checklist      │ fail │ 79.0 C  │ 0.0289 │
  └─────────────────────┴──────┴─────────┴────────┘

Comments

retoor retoor

Guys, I have such high accuracy now and so cheap. I can even offer a free tier!