Skip to content

Commit 4c716de

Browse files
committed
Verify live provider cell calls
1 parent 064c507 commit 4c716de

6 files changed

Lines changed: 159 additions & 13 deletions

File tree

docs/skills/architecture/live-provider-ops.md

Lines changed: 2 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -83,6 +83,7 @@ matrix에서 missing credential은 silent skip이 아니다. 사용자가 여러
8383
- teacher system prompt를 통과한 질문 응답.
8484
- 모호한 학습 요청이 provider 호출 전에 deterministic clarification gate에서 멈추는지.
8585
- 구체적 학습 요청이 실제 provider 응답에서 `write-curriculum-yaml` tool call로 이어지는지.
86+
- 실행 요청이 실제 provider 응답에서 `packages-check` 이후 `cell-call` tool call로 이어지는지.
8687
- 응답 payload에 provider/model, case latency, tool sequence, workloop count, executor call summary가 남는지.
8788

8889
## 평가 기준
@@ -93,6 +94,7 @@ Live 응답은 deterministic하지 않으므로 exact text를 비교하지 않
9394
- teacher 답변이 과도하게 장황하지 않다.
9495
- ambiguous learning request는 provider를 호출하지 않는다.
9596
- concrete learning request는 답변만으로 끝나지 않고 `write-curriculum-yaml`을 호출한다.
97+
- executable cell request는 `packages-check`를 먼저 호출하고 policy violation 없이 `cell-call`을 executor까지 전달한다.
9698
- tool loop가 실패하면 “prompt/tool schema tuning required”처럼 다음 조정 지점을 남긴다.
9799
- provider/model/latency/error가 live smoke report에 남는다.
98100

docs/skills/ops/foundation/testing-and-gates.md

Lines changed: 1 addition & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -65,7 +65,7 @@ uv run python -X utf8 tests/run.py gate learning-card-browser
6565

6666
- 새 gate는 `tests/run.py`, 이 문서, CI 중 필요한 위치를 함께 갱신한다.
6767
- 새 pytest 파일은 가능한 한 제품/도메인 경계를 드러내는 이름을 쓴다.
68-
- `ai-live-smoke`는 opt-in gate다. credential/token이 없으면 skip하지 않고 `live credential missing`을 JSON으로 보고한다. `CODARO_AI_LIVE_PROVIDERS=oauth-chatgpt,openai,ollama,custom`처럼 matrix를 명시하면 provider별 `passed`/`failed`/`credentialMissing` summary를 남긴다. 이 gate는 CI required가 아니며, 실제 provider/OAuth/네트워크 문제를 기본 CI 안정성과 분리한다.
68+
- `ai-live-smoke`는 opt-in gate다. credential/token이 없으면 skip하지 않고 `live credential missing`을 JSON으로 보고한다. `CODARO_AI_LIVE_PROVIDERS=oauth-chatgpt,openai,ollama,custom`처럼 matrix를 명시하면 provider별 `passed`/`failed`/`credentialMissing` summary를 남긴다. live tool loop는 실제 provider 응답에서 `write-curriculum-yaml``packages-check` 이후 `cell-call`이 발생하는지 본다. 이 gate는 CI required가 아니며, 실제 provider/OAuth/네트워크 문제를 기본 CI 안정성과 분리한다.
6969
- teacher/tool 변경은 최소한 tool sequence, policy violation, workloop label/detail, structured YAML contract, provider loop result signal 중 변경 표면 하나를 고정한다.
7070
- provider loop 변경은 가능한 한 실제 scripted provider run으로 `packages-check``packages-install``cell-call`의 정확한 순서와 결과 필드(`missing`, `success`, `passed`)를 함께 검증한다. `packages-check` 실패 뒤 provider가 `cell-call`을 요청하는 negative golden도 executor 호출을 차단하고 `dependency-preflight-required` policy result를 provider에게 돌려줘야 한다. 다음 provider 호출에 직전 `role: tool` 결과 메시지가 들어갔는지도 확인한다. golden case가 요구하는 exact sequence에 불필요한 tool call이 끼거나 provider가 tool result를 보지 못하면 실패해야 한다. 큰 tool result는 provider message에서 bounded JSON으로 줄이되 현재 turn payload/trace의 full result는 보존해야 한다. streaming native tool loop 변경은 tool result 이후 다음 provider 호출 실패가 `error` event와 `trace.workloop``provider 오류` row로 남는지도 고정한다.
7171
- editor runtime 실행 변경은 `editor-runtime-preflight`로 세션 패키지 확인, 누락 패키지 uv 설치, kernel 실행 순서가 지켜지는지 확인한다.

landing/src/lib/generated/docsNav.js

Lines changed: 8 additions & 8 deletions
Some generated files are not rendered by default. Learn more about customizing how changed files appear on GitHub.

0 commit comments

Comments
 (0)