seeds=10 tiers=[3000, 10000, 30000] guards 20/20 pass
## tier 3000: arm types inst recall type recall cand precision growth
F 53920 1.000 0.422 0.196 0.96
MW-conn 1504 0.114 0.110 0.192 0.58
MW-comp 1237 0.101 0.097 0.240 0.55
C-G 10570 1.000 0.979 0.117 2.38
M-G-conn 5843 0.697 0.685 0.124 2.30
M-G-comp 2072 0.306 0.297 0.245 1.81
C-p10 18171 1.000 0.922 0.126 1.87
M-p10-conn 6545 0.619 0.595 0.138 2.17
M-p10-comp 2760 0.261 0.243 0.221 1.68
C-p30 27167 1.000 0.854 0.140 1.77
M-p30-conn 5302 0.480 0.453 0.162 1.99
M-p30-comp 2656 0.225 0.203 0.217 1.60
C-p50 32704 1.000 0.801 0.151 1.74
M-p50-conn 2450 0.274 0.261 0.179 1.63
M-p50-comp 1590 0.156 0.145 0.212 1.40
C-S1 2639 1.000 1.000 0.112 2.19
M-S1-conn 1615 0.630 0.630 0.105 2.11
M-S1-comp 636 0.266 0.265 0.202 1.68
C-S2 1062 1.000 1.000 0.111 2.08
M-S2-conn 740 0.556 0.556 0.094 2.05
M-S2-comp 342 0.191 0.191 0.128 1.65
C-S3 789 1.000 1.000 0.111 2.03
M-S3-conn 522 0.466 0.466 0.090 2.08
M-S3-comp 297 0.141 0.140 0.104 1.73
C-L 8634 1.000 0.929 0.117 1.91
M-L-conn 3675 0.577 0.558 0.110 2.14
M-L-comp 1578 0.224 0.210 0.174 1.65
C-R 33668 1.000 0.799 0.155 1.88
M-R-conn 499 0.110 0.106 0.220 1.36
M-R-comp 404 0.083 0.080 0.239 1.28
## tier 10000: arm types inst recall type recall cand precision growth
F 163056 1.000 0.534 0.187 1.05
MW-conn 11698 0.238 0.218 0.187 1.00
MW-comp 7559 0.178 0.158 0.262 0.89
C-G 17434 1.000 0.995 0.113 2.84
M-G-conn 9701 0.728 0.724 0.124 2.71
M-G-comp 3614 0.336 0.333 0.258 2.15
C-p10 39421 1.000 0.957 0.119 2.25
M-p10-conn 16445 0.667 0.649 0.132 2.62
M-p10-comp 6566 0.287 0.274 0.236 2.00
C-p30 67939 1.000 0.910 0.131 2.27
M-p30-conn 20792 0.559 0.531 0.148 2.61
M-p30-comp 8936 0.228 0.208 0.210 2.00
C-p50 87010 1.000 0.867 0.141 2.30
M-p50-conn 16786 0.421 0.394 0.163 2.49
M-p50-comp 8252 0.187 0.169 0.207 1.96
C-S1 3106 1.000 1.000 0.111 2.33
M-S1-conn 2016 0.639 0.639 0.104 2.26
M-S1-comp 845 0.267 0.267 0.201 1.83
C-S2 1139 1.000 1.000 0.111 2.14
M-S2-conn 857 0.547 0.547 0.093 2.16
M-S2-comp 400 0.157 0.157 0.105 1.73
C-S3 851 1.000 1.000 0.111 2.09
M-S3-conn 616 0.463 0.463 0.090 2.20
M-S3-comp 364 0.133 0.133 0.098 1.85
C-L 16943 1.000 0.976 0.114 2.19
M-L-conn 7606 0.686 0.678 0.121 2.50
M-L-comp 3404 0.291 0.285 0.215 1.98
C-R 92514 1.000 0.860 0.146 2.47
M-R-conn 5808 0.269 0.256 0.229 2.36
M-R-comp 3790 0.154 0.144 0.255 2.06
## tier 30000: arm types inst recall type recall cand precision growth
F 441173 1.000 0.616 0.175 1.15
MW-conn 68843 0.382 0.331 0.182 1.36
MW-comp 35313 0.240 0.197 0.278 1.14
C-G 23859 1.000 0.999 0.112 3.15
M-G-conn 12920 0.732 0.732 0.123 2.98
M-G-comp 5187 0.343 0.343 0.258 2.43
C-p10 75836 1.000 0.977 0.116 2.66
M-p10-conn 31727 0.677 0.666 0.130 3.01
M-p10-comp 13097 0.289 0.281 0.231 2.33
C-p30 151590 1.000 0.944 0.125 2.85
M-p30-conn 54183 0.595 0.573 0.143 3.20
M-p30-comp 22613 0.225 0.212 0.201 2.44
C-p50 206332 1.000 0.909 0.134 2.97
M-p50-conn 58466 0.490 0.462 0.153 3.23
M-p50-comp 25633 0.186 0.170 0.193 2.47
C-S1 3318 1.000 1.000 0.111 2.39
M-S1-conn 2194 0.639 0.639 0.104 2.34
M-S1-comp 973 0.261 0.261 0.194 1.93
C-S2 1170 1.000 1.000 0.111 2.16
M-S2-conn 921 0.546 0.546 0.093 2.21
M-S2-comp 456 0.169 0.169 0.113 1.81
C-S3 879 1.000 1.000 0.111 2.12
M-S3-conn 681 0.461 0.461 0.090 2.28
M-S3-comp 403 0.135 0.135 0.099 1.92
C-L 26920 1.000 0.993 0.112 2.38
M-L-conn 12605 0.712 0.709 0.120 2.68
M-L-comp 5585 0.308 0.305 0.228 2.15
C-R 219812 1.000 0.906 0.138 3.15
M-R-conn 30930 0.343 0.326 0.191 3.42
M-R-comp 16377 0.154 0.143 0.208 2.79
## Predictions
A1: FAIL — types M-G-comp/C-G = 0.217 (bar <= 0.10); type recall ratio = 0.343 (bar >= 0.7)
A2: PASS — 3000:+0.217[+0.198,+0.236] 10000:+0.188[+0.170,+0.206] 30000:+0.199[+0.187,+0.212]
A3: FAIL — growth M-G-comp 2.43, C-G 3.15, F 1.15
A4: PASS — G,p10,p30,p50 = 0.343, 0.281, 0.212, 0.170 | S2 0.169, S3 0.135
A5: PASS — 3000:+0.128[+0.119,+0.137] 10000:+0.145[+0.141,+0.148] 30000:+0.146[+0.141,+0.151]
## Controls
C1/C5: PASS — gold-span selector and true-tree rule checks, every seed
C4': PASS — M-G-comp has the highest type recall among M-x-comp at every tier