| ํญ๋ชฉ | ๋ด์ฉ |
|---|---|
| Invoke | /evaluate:ambiguity-score |
| Category | spec-clarity |
| Complexity | moderate |
/spec:ambiguity โ ๋ช ์ธ์ "์ ๋งคํจ" ์ ์ ๋งค๊ธฐ๊ธฐ#
ํ๋ง๋๋ก#
์์ฑํ ๋ช ์ธ์(Seed spec)๊ฐ ์ผ๋ง๋ ๋๋ ทํ์ง, ์๋๋ฉด ์ ๋งคํ์ง๋ฅผ 0~1์ ์ง๋ฆฌ ์ ์๋ก ์ฑ์ ํด ์ฃผ๋ ๋๊ตฌ์ ๋๋ค. ๊ธ์ฐ๊ธฐ ์ ์๋์ด ๋นจ๊ฐํ์ผ๋ก "์ด ๋ถ๋ถ ๋ฌด์จ ๋ป์ธ์ง ๋ชจ๋ฅด๊ฒ ์ด์"๋ผ๊ณ ์ง์ด์ฃผ๊ณ ์ข ํฉ ์ ์๊น์ง ๋งค๊ฒจ์ฃผ๋ ๊ฒ๊ณผ ๊ฐ์์.
๋๊ฐยท์ธ์ ์ฐ๋์#
- ๊ธฐํ์ยท์๊ตฌ์ฌํญ(Seed spec)์ ๋ค ์ด ๋ค, "์ด๋๋ก ๊ฐ๋ฐ์ ๋๊ฒจ๋ ๋ ๋งํผ ๋ช ํํ๊ฐ?"๋ฅผ ํ์ธํ๊ณ ์ถ์ ๋
- ๋๊ตฐ๊ฐ ์ฝ๊ณ ์คํดํ ๋งํ ์ ๋งคํ ํํ์ด ๋จ์ ์๋์ง ์ ๊ฒํ๊ณ ์ถ์ ๋
๋ฌด์์ ํด์ฃผ๋์#
๋ช ์ธ์๋ฅผ 5๊ฐ์ง ๊ธฐ์ค์ผ๋ก ์ดํด๋ณธ ๋ค ์ข ํฉ ์ ๋งคํจ ์ ์์ ๋ฑ๊ธ์ ์๋ ค์ฃผ๊ณ , ๊ทธ ์ ์๋ฅผ ๋ช ์ธ์ ํ์ผ ์์๋ ๊ธฐ๋กํด ์ค๋๋ค.
-
5๊ฐ์ง ์ฑ์ ๊ธฐ์ค
- ๋จ์ด ์ ํ์ฑ โ "๋น ๋ฅด๊ฒ", "์ ์ ํ", "ํ์์" ๊ฐ์ ๋๋ฃจ๋ญ์ ํ ๋ง์ ์ฐ์ง ์์๋์ง
- ์ง์นญ ๋ช ํ์ฑ โ "์ด๊ฒ", "๊ทธ๊ฒ" ๊ฐ์ ๋ง์ด ๋ฌด์์ ๊ฐ๋ฆฌํค๋์ง ๋ถ๋ช ํ์ง
- ์์ ์ฑ โ ๋ชจ๋ ๊ธฐ๋ฅ์ ํฉ๊ฒฉ ๊ธฐ์ค์ด ์๊ณ , ์์ธ ์ํฉยท์ค๋ฅ ์ํฉ์ด ๋น ์ง์ง ์์๋์ง
- ์ผ๊ด์ฑ โ ์ฉ์ด๊ฐ ํต์ผ๋๋์ง, ์๋ค ์ซ์๋ ์ฐ์ ์์๊ฐ ์๋ก ์ด๊ธ๋์ง ์๋์ง
- ํ ์คํธ ๊ฐ๋ฅ์ฑ โ ๊ฐ ์๊ตฌ์ฌํญ์ด ํฉ๊ฒฉ/๋ถํฉ๊ฒฉ์ ๊ฐ๊ด์ ์ผ๋ก ํ์ ํ ์ ์๋์ง
- ๊ฒฐ๊ณผ ๋ฑ๊ธ: CLEAR(ํต๊ณผ) / WARNING(์กฐ๊ฑด๋ถ) / AMBIGUOUS(๋ฏธํก) / UNCLEAR(์ฌ์์ฑ ํ์)
์ด๋ป๊ฒ ์ฐ๋์#
/spec:ambiguity # ๊ฐ์ฅ ์ต๊ทผ Seed ๋ช
์ธ์๋ฅผ ์ฑ์
/spec:ambiguity --file {path} # ํน์ ํ์ผ์ ์ง์ ํด ์ฑ์
/spec:ambiguity --verbose # ๊ธฐ์ค๋ณ ์์ธ ๋ถ์๊น์ง ํจ๊ป ๋ณด๊ธฐ
- ๊ทธ๋ฅ ์คํํ๋ฉด ๊ฐ์ฅ ์ต๊ทผ์ ๋ง๋ ๋ช ์ธ์๋ฅผ ์๋์ผ๋ก ์ฐพ์ ์ฑ์ ํฉ๋๋ค.
--file๋ก ์ฑ์ ํ ํ์ผ์ ์ง์ ์ง์ ํ ์ ์์ต๋๋ค.--verbose๋ฅผ ๋ถ์ด๋ฉด 5๊ฐ์ง ๊ธฐ์ค๋ณ๋ก ์ด๋๊ฐ ์ ์ ๋งคํ์ง ์์ธํ ๋ถ์๊น์ง ๋ณด์ฌ์ค๋๋ค.
์์์ ๋ฌด์จ ์ผ์ด ๋ฒ์ด์ง๋์#
- ํ์ผ ๋ถ๋ฌ์ค๊ธฐ โ ๋์ ๋ช ์ธ์๋ฅผ ์ฝ๊ณ ํญ๋ชฉ๋ณ๋ก ๋๋๋๋ค.
- 5๊ฐ์ง ๊ธฐ์ค ์ฑ์ โ ๋จ์ด ์ ํ์ฑยท์ง์นญ ๋ช ํ์ฑยท์์ ์ฑยท์ผ๊ด์ฑยทํ ์คํธ ๊ฐ๋ฅ์ฑ์ ๊ฐ๊ฐ 0~1์ ์ผ๋ก ๋งค๊น๋๋ค.
- ์ข ํฉ ์ ์ ๊ณ์ฐ โ ๊ธฐ์ค๋ง๋ค ์ ํด์ง ๊ฐ์ค์น๋ฅผ ๊ณฑํด ํ๋์ ์ต์ข ์ ์๋ก ํฉ์ฐํฉ๋๋ค.
- ๋ฑ๊ธ ํ์ โ ์ ์์ ๋ฐ๋ผ ํต๊ณผ/์กฐ๊ฑด๋ถ/๋ฏธํก/์ฌ์์ฑ ํ์ ์ค ํ๋๋ก ํ์ ํฉ๋๋ค.
- ๋ช ์ธ์์ ๊ธฐ๋ก โ ๊ณ์ฐ๋ ์ ๋งคํจ ์ ์๋ฅผ ๋ช ์ธ์ ํ์ผ ์ ๋ณด๋์ ๋ค์ ์ ์ด ๋ก๋๋ค.
โ๏ธ ์์ธ ์ต์ ยท์คํ ๋ช ์ธ (๊ฐ๋ฐ์ / AI ์์ด์ ํธ์ฉ)
Usage#
/spec:ambiguity # Evaluate the latest Seed spec
/spec:ambiguity --file {path} # Evaluate a specific file
/spec:ambiguity --verbose # Include detailed per-dimension analysisParameters#
| Parameter | Description | Default |
|---|---|---|
--file | Target file path | Latest docs/seed-spec-*.md |
--verbose | Detailed analysis output | false |
Execution Flow#
1. Load Target File#
- Read Seed spec file
- Parse each section
2. 5-Dimension Evaluation#
Evaluate each dimension per AMBIGUITY_RUBRIC.md:
2a. Lexical Precision (weight 0.25)
- Scan for prohibited words in the spec's own language โ English ("fast", "appropriate", "etc.", "if needed" ...) AND Korean ("๋น ๋ฅด๊ฒ", "์ ์ ํ", "๋ฑ๋ฑ", "ํ์์" ...). Use the locale-tagged table in
AMBIGUITY_RUBRIC.md. - Use semantic judgment, not keyword-matching alone โ a vague phrase in any language counts even if it is not in the table.
- If the spec language is not covered by the table, mark this dimension UNVERIFIED (not 0.0) and fall back to semantic judgment โ never score an un-scannable language as "0 prohibited words".
- Check whether specific values/criteria have been substituted
- Score: 0.0 (0 prohibited words) ~ 1.0 (pervasively ambiguous)
2b. Reference Clarity (weight 0.20)
- Scan for pronouns/demonstratives โ English ("this", "that", "said") AND Korean ("์ด๊ฒ", "๊ทธ๊ฒ", "ํด๋น", "์์")
- Check whether abbreviations are defined
- Check for implicit subjects ("is processed" โ missing agent)
- Score: 0.0 (all references clear) ~ 1.0 (key references unclear)
2c. Completeness (weight 0.20)
- Check whether AC (acceptance criteria) exist for all features
- Check whether edge cases are identified
- Check whether error scenarios are defined
- Score: 0.0 (all complete) ~ 1.0 (most missing)
2d. Consistency (weight 0.20)
- Check terminology unity
- Check for numeric/logical contradictions between sections
- Check priority consistency
- Score: 0.0 (fully consistent) ~ 1.0 (severe contradictions)
2e. Testability (weight 0.15)
- Check whether each requirement has Pass/Fail criteria
- Check automation feasibility
- Check reproducibility
- Score: 0.0 (all testable) ~ 1.0 (most require subjective judgment)
3. Final Score Calculation#
score = (lexical ร 0.25) + (reference ร 0.20) + (completeness ร 0.20)
+ (consistency ร 0.20) + (testability ร 0.15)4. Verdict#
| Grade | Score | Result |
|---|---|---|
| CLEAR | <= 0.2 | Pass |
| WARNING | 0.2~0.3 | Conditional โ Improvement recommendations provided |
| AMBIGUOUS | 0.3~0.5 | Fail โ Required fix items presented |
| UNCLEAR | > 0.5 | Reject โ Rewrite required |
5. Seed Spec Update#
- Update the ambiguity score in metadata
Output#
Evaluation results printed to console. With --verbose, detailed per-dimension analysis is included.
Ambiguity score in Seed spec metadata is updated.
Related Commands#
/spec:seedโ Create Seed spec/spec:verifyโ Verification + lock/spec:evaluateโ 3-stage integrated evaluation
References#
references/AMBIGUITY_RUBRIC.mdโ Detailed 5-dimension rubricconfig/thresholds.yamlโ Threshold settings