Промышленный AI-стек звучит чужим, пока его не посадить на уже знакомый канон. Слева — что это вообще. Справа — тот же смысл на LoginTests: промпт «добавь автотест на неуспешный логин с неправильным паролем» и метод shouldShowErrorWhenPasswordIsWrong.
// e2e · текст на форме
loginPage.openPage()
.typeUsername("user1")
.typePassword("wrongpassword")
.submitExpectingError()
.shouldHaveErrorMessage("Wrong login or password");
// не fillAndSubmitForm — тот ждёт HomePage
// не @Tag("smoke") — это не prod slice
// JSON 401 уже в AuthApiTests#loginWithInvalidPassword
Ничего не нашлось. Попробуйте «граф», «Allure» или «токен».
модель · large language model
Программа, которая предсказывает следующий кусок текста. Не «знает репозиторий» и не запускает Gradle сама — только генерирует токены, пока ей не дадут инструменты и файлы.
Модель может написать метод с fillAndSubmitForm, потому что так выглядит соседний happy path. Правильный sad path она не «помнит из интернета» — его держат skill, RAG и открытый канон.
промпт · запрос в чат
Текст, с которого начинается работа модели. Живёт в чате и умирает вместе с ним. Стабильные правила лучше класть в git (rule / skill), а не повторять в каждом промпте.
«Добавь автотест на неуспешный логин с неправильным паролем». Фразу «не коммить» в чат не пишут — это rule. Без слоёв этого промпта хватает, чтобы скопировать happy path.
токен · единица биллинга
Кусок текста, которым модель читает и пишет. Платят и ограничивают окно не «страницами», а токенами. Чем больше файлов запихнули в контекст, тем дороже и ближе потолок окна.
Весь класс + qa-write-test + четыре чанка RAG — уже заметный чек. Поэтому skill говорит «прочитай 2–4 файла», а не всю папку docs/agent-skills/rag/.
окно контекста · сколько модель видит
Жёсткий лимит токенов на один запрос: промпт + открытые файлы + история чата + ответ. Что не влезло — для модели не существует. Что влезло лишнего — часто побеждает нужный факт.
Лист 35: открытый shouldLoginWithValidCredentials занимает окно и кормит копипаст fillAndSubmitForm на sad path. Это не «глупость модели», а переполнение сцены.
температура · случайность
Ручка «насколько модель вольна выбирать редкие слова». Высокая — разнообразный текст. Низкая — более стабильный, повторяемый ответ. Для канона обычно держат низкой.
Нужен один и тот же PO-путь: typeUsername → submitExpectingError. «Креативный» @DisplayName безвреден; креативный локатор $("input") — уже баг.
галлюцинация · выдуманный факт
Модель выдаёт уверенный текст, которого нет в источниках: несуществующий API, команда, файл. Это не ложь «с намерением» — статистика следующего токена без якоря.
Листы 32–34: Gradle-task testE2e (его нет) — без rule; CSS в *Tests / копия happy path — без RAG; второй e2e «на JSON 401» — без ADR 009; commit без OK — без rule.
агент · не чатбот
Цикл: подумать → вызвать инструмент → посмотреть результат → снова подумать. Чатбот только пишет текст. Агент читает файлы, запускает команды, правит код.
Cursor: Read LoginTests.java → прочитать skill → Write метод → Shell Gradle → если красный, править PO. Если остановился после «вот код, сами гоняйте» — это ещё не агент по DoD курса.
think → act → observe
Повтор шагов, пока не выполнен DoD или не сработал стоп (лимит итераций, человек, ошибка). Без петли получается одноразовая цепочка.
Skill qa-write-test: слой → RAG → PO → метод → -Dtest=LoginTests#shouldShowErrorWhenPasswordIsWrong → exit code. Упал селектор — ещё круг, не «ну ок».
инструменты · вызов функций
Модель не ходит в файлы сама: IDE даёт ей список функций (прочитать, найти, выполнить команду). Модель выбирает имя и аргументы; среда исполняет и возвращает результат.
Read / Grep / Write / Shell. Shell — это ./gradlew test -Denv=ci -DincludeTags=e2e -Dtest=LoginTests#shouldShowErrorWhenPasswordIsWrong, не «весь suite».
Model Context Protocol · розетка для tools
Стандарт, как подключить внешний инструмент к агенту: не писать драйвер с нуля, а воткнуть сервер (браузер, тикеты, дизайн). Это не модель и не оркестратор.
В takeaway канон закрывается файлами репо и Gradle. MCP пригодился бы, если агент ходил в Allure-сервер, TMS или стенд по API без вашего Shell. Для wrong password не обязателен.
цепочка · линейный пайплайн
Фиксированный порядок шагов без развилки и без возврата: A → B → C → стоп. Просто и хрупко: ошибка в B не умеет «вернуться и перечитать факт».
«Прочитай вкладку → напиши тест как соседний метод → готово». Так рождается sad path через fillAndSubmitForm. Цепочка закончилась до проверки ошибки на форме.
библиотека кирпичей · LLM + tools + RAG
Набор готовых кусков: вызвать модель, собрать промпт, подключить инструмент, достать чанк из RAG. Сам по себе не решает, когда зациклиться и когда остановиться — это уже граф.
Аналог: «умею прочитать LoginPage, умею вызвать Gradle, умею вставить шаблон теста». Без маршрутного листа skill это те же кирпичи, из которых легко сложить неверный happy-path-клон.
граф состояний · циклы · ветки
Оркестрация агента как граф: узлы (шаги), рёбра (что дальше), состояние (что уже сделали), петли (retry), ожидание человека. Берут, когда логика не линейная цепочка.
qa-write-test уже граф: выбрать @Layer → RAG → расширить PO → метод → Gradle → красный? triage. Ветка ADR: UI-текст → e2e; JSON 401 → AuthApiTests, не второй e2e.
оркестрация · кто решает следующий шаг
Слой, который говорит «теперь это». Либо жёсткий workflow (всегда одни и те же шаги), либо агент (модель выбирает инструмент). На практике часто смесь.
Skill задаёт маршрут, rule режет запретное, модель выбирает, читать ли ещё po-fluent. Gradle в CI — тоже оркестрация, только без LLM: всегда -Denv и tags.
состояние · память шага
Данные, которые граф таскает между узлами: какие файлы тронули, что уже прогнали, ждали ли человека. Потеряли state — начали с нуля или сделали дубль.
«Метод уже добавлен, Gradle ещё красный, submitExpectingError есть в PO». Новый чат без этого state снова пишет второй shouldShowErrorWhenPasswordIsWrong.
ограждение · «нельзя всегда»
Жёсткий запрет вокруг модели: не этот URL, не эти секреты, не этот action. Срабатывает независимо от того, «убедительно» ли модель просит исключение.
Rules: не commit без OK, всегда -Denv, не full suite, не localhost в Java, один task — один ярус. Skill говорит как; guardrail говорит нельзя.
HITL · стоп и ждать человека
Граф умеет остановиться и не идти дальше без подтверждения: деплой, платёж, публикация. Иначе агент делает необратимое сам.
«Нет commit без OK». Агент дописывает метод и показывает diff. Кнопка commit — ваша. Temporal как раз умеет узел «wait for approval» часами; чат Cursor — нет.
как сделать задачу · маршрутный лист
Workflow под один глагол: когда звать, шаги, DoD. Читают по промпту, не на каждый чат. В AI-стеке это готовый граф «как работать», часто поверх LangGraph.
docs/agent-skills/qa-write-test/SKILL.md: один @Layer → PO → -Dtest= → стенды в ответе. Без skill типично встаёт свой ChromeDriver.
что нельзя всегда · ПДД
Лимиты на каждый чат. В стеке — guardrail. Короткий файл; не маршрут задачи и не факт про локатор.
.cursor/rules/: tags e2e, не suite, не commit, всегда -Denv. Без rule агент после wrong password гоняет всё и предлагает commit.
карточка факта · 2–4 файла
См. ниже RAG как технология. В курсе это ещё и дисциплина: один id = один файл в docs/agent-skills/rag/, не скармливать всю папку.
test-negative · po-step · po-locators · cfg-stands. Без них — $("input"), копия fillAndSubmitForm, «Invalid credentials».
почему A, не B · решение
Зафиксированный выбор, который дорого откатывать. Не skill (как) и не RAG (факт). В стеке ближе к policy: развилка графа уже решена заранее.
Контракт 401 → api-ярус, не второй e2e (ADR 009). Screenshot — slice, не @Layer (005, другой промпт). Без 009 агент закрывает JSON кликом по форме.
сцена · не пятый слой
То, что модель видит прямо сейчас: открытые файлы, кусок чата. Это не skill и не rule. Может помочь — и может перекричать канон.
Две вкладки на занятии: happy path в LoginTests и LoginPage. Лаборатория 36: context включён — копипаст; выключен — другой набор галлюцинаций.
retrieval-augmented generation · достать, потом генерировать
Сначала ищут куски знаний (retrieval), потом подставляют их в промпт и просят модель ответить. Модель не «вспоминает репозиторий» — ей показывают карточки.
Skill прямо пишет: прочитай test-negative и po-step до кода. Тогда error-path берётся из чанка, а не из соседнего shouldLoginWithValidCredentials.
чанк · единица retrieval
Небольшой документ, который индексируют и подтягивают целиком. Слишком большой — жрёт окно. Слишком мелкий — нет смысла.
Файл docs/agent-skills/rag/test-negative.md — один чанк с каноном empty login / wrong password. Не «весь PACK.md на 80 строк про все skills».
эмбеддинг · вектор смысла
Числовой отпечаток текста. Поиск идёт не по точному слову, а по «похожему смыслу». Удобно — и можно достать соседнюю, но не ту карточку.
Запрос «negative login» должен попасть в test-negative. Если индекс кривой, подтянется po-fluent с примером fillAndSubmitForm — retrieval miss, дальше галлюцинация уже «логичная».
не тот чанк · плохой поиск
RAG сработал, но принёс не тот документ. Модель честно опирается на мусор. Лечится диетой чанков и явными путями в skill, не «более умной» моделью.
Как неверный локатор: искали error-path, нашли happy-path fluent. На занятии 3 путь к файлу пишут явно, как раз чтобы не ловить miss.
задержка · сколько ждали
Время от запроса до ответа. Для LLM смотрят отдельно первый токен и полный ответ. Агент с кучей шагов почти всегда медленнее одной генерации.
Две разные задержки. Продукт: Submit → текст «Wrong login or password». Агент: промпт → зелёный Gradle. Rule запрещает suite, потому что latency агента взлетает на минуты.
time to first token · первый кусок ответа
Когда пользователь впервые видит текст (или первый токен стрима). Полный ответ может прийти сильно позже. Для чата TTFT важнее «средней» latency.
Первый абзац в чате «пишу e2e на wrong password» — TTFT. Зелёный -Dtest=…PasswordIsWrong — total latency агента. На форме аналог TTFT — момент, когда появился текст ошибки, не когда анимация закончилась.
процентили · хвост, не среднее
p50 — типичный случай. p95/p99 — редкие, но живые: почти все быстро, каждый сотый очень медленно. По среднему хвост не видно.
Обычный прогон wrong password — секунды. p99 — холодный браузер, compose не успел, flaky wait. Для агента p99 — «прочитал весь репозиторий вместо 4 чанков».
таймаут · перестать ждать
Лимит ожидания шага. Без него агент или тест висит, пока не упрётся в лимит среды. Таймаут — тоже вид guardrail.
Selenide ждёт элемент ошибки конечное время. Gradle в CI не крутится вечно. Агент не должен «ещё чуть-чуть» гонять весь модуль без -Dtest=.
service level · договор по времени/качеству
Цифра, с которой сравнивают latency и ошибки: «p95 ответа < 2 с». Без SLA latency — просто число в дашборде.
Неформально: форма логина не должна крутиться десятки секунд; агент на один метод — минуты, не полчаса suite. Homework-check — SLA по качеству сдачи, не по миллисекундам.
стоимость · токены + минуты CI
Деньги на токены плюс время людей и пайплайна. Агент с десятью e2e на каждую правку дороже «глупой» модели с узким skill.
Канон гоняет один метод, не LoginTests целиком и не ./gradlew test. Лишний браузерный прогон — и счёт модели, и очередь CI.
durable workflow · не LLM
Движок долгих процессов: шаги пишутся в историю, рестарт сервера не обнуляет работу, есть таймеры, retry и ожидание человека. Это Jenkins-идея для кода, не библиотека промптов.
Сценарий «напиши тест → дождись compose :8800 → прогони → подожди OK на commit» не обязан умереть вместе с чатом. Для одного метода на занятии Temporal избыточен; для ночного агента — нет.
процесс, который переживает рестарт
Состояние шагов лежит не в RAM чата, а в журнале. Упал воркер — продолжили с того же узла. Temporal, Cadence, часто CI job — из этого семейства.
GitHub Actions гоняет Gradle, даже если ноут закрыт. Allure results остаются в build/allure-results. Чат Cursor после Reload — уже не тот workflow.
снимок состояния графа
Сохранили state после узла, чтобы resume не начинал с промпта. LangGraph умеет чекпоинты; Temporal пишет события истории.
«PO уже расширен, метод в файле, Gradle не запускали». Новый Agent после смены слоёв (лаборатория 36) как раз без чекпоинта — иначе старый state смешает слои.
идемпотентность · повтор без дубля
Повторный запуск не создаёт второй эффект: второй платёж, второй пользователь, второй такой же тест. Нужна, когда retry и рестарты — норма.
Второй прогон промпта не должен добавить shouldShowErrorWhenPasswordIsWrong2. Канон уже в репо — агент говорит «есть», а не плодит метод. POST login сам по себе не идемпотентен: каждый вызов — новая попытка входа.
без сессии на сервере / с памятью
Stateless: сервер не помнит вас между запросами (токен в каждом). Stateful: помнит (сессия, граф агента). Путают с «есть ли логин».
API логина takeaway — stateless: токен живёт у клиента. Агент, который пишет тест, stateful: помнит, что метод уже добавлен. Потеряли память чата — поведение как у нового агента.
логи · метрики · трейсы
Способ понять, почему система себя так ведёт: что вызвали, сколько заняло, где упало, сколько стоило. Без этого агент — чёрный ящик.
Для продукта: Gradle + Allure (steps PO, 401, скрин). Для агента: какой чанк RAG пришёл, какой tool, сколько токенов. Листы 30–36 — ручная observability слоёв.
трейс · шаг с временем
Трейс — одна операция целиком. Span — кусок внутри: вызов модели, tool, retrieval. По ним считают latency узла, не «всё вместе».
Allure @Step на typePassword / submitExpectingError — spans e2e. У агента span «прогон Gradle» обычно длиннее span «написать метод».
Allure для LLM · трейсы, токены, cost
Observability специально для промптов и агентов: какой промпт ушёл, какой чанк RAG, какие tools, latency, стоимость, оценки. Соседи: LangSmith, Phoenix, Helicone.
Показал бы: подтянулся test-negative или случайно po-fluent с fillAndSubmitForm; вызвали Write и Shell; 12 с; где поставили @Tag("smoke") на negative. Лаборатория 36 делает это глазами преподавателя.
evaluation · проверка качества ответа
Набор кейсов и рубрика: ответ агента pass/fail. Не то же самое, что e2e продукта. Без eval вы «нравится в чате», а не измеряете регресс промпта.
qa-homework-check + рубрика: слой выбран, нет URL в тесте, есть -Denv, нет commit. Канон wrong password — золотой эталон eval: fluent error-path, не клон happy path.
Канон сценария: лист 20 · live-абляция: лаборатория 36