Маркеры инструкций как диагностический инструмент

В первой версии этого эксперимента модель возвращала ответ, а затем отдельно цитировала те его фрагменты, которые, по её утверждению, были выведены из конкретных инструкций. Двух из процитированных фрагментов в ответе не существовало. Точная проверка поймала оба случая, но формат ответа допустил утверждение о тексте, который никогда не был возвращён. Вторая версия эксперимента и границы того, что она способна показать, выросли из этого дефекта.

Статья отвечает на узкий вопрос: могут ли временные маркеры в одноразовой копии инструкций сделать оценку удобнее для проверки, и что подтверждают полученные свидетельства? В предыдущей статье мы оставили стабильные ID таксономии за пределами боевых промптов. Эта граница сохраняется. Рабочие инструкции продукта остаются обычным неразмеченным текстом, а всё описанное здесь происходит внутри оценочных фикстур.

Дизайн построен на парном сравнении. ID добавляются в одноразовую копию инструкций, и модель видит их только в размеченной ветке эксперимента. Парная чистая ветка использует тот же формат ответа, но без маркеров и без привязок сегментов к инструкциям. Маркер и сам формат могут изменять поведение, поэтому такое сравнение является частью дизайна и служит его экспериментальным контролем.

В результате получился ограниченный диагностический прототип. Он создаёт проверяемые утверждения о связях между сегментами ответа и переданными инструкциями. Он не раскрывает цепочку рассуждений модели и не доказывает, какая инструкция стала причиной ответа.

ID таксономии и экспериментальные маркеры решают разные задачи

Стабильная тестовая таксономия именует требования между ревизиями. Экспериментальный маркер является вмешательством: его вставляют в замороженную оценочную фикстуру и показывают модели. Схема идентификаторов может быть общей, но роли в процессе различаются, и дальше речь идёт именно о маркере.

Метод маркеров шире матрицы замен слов. Возможными единицами могут быть примеры, требования, правила в прозе, элементы семантического ядра, инструкции по безопасности и правила границ. Это варианты применения метода. Эксперименты во всех перечисленных областях не проводились.

Если в тексте нет удобных заголовков или списков, LLM может предложить семантические единицы. Такое предложение всё равно проходит проверку. После неё скрипт генерирует и вставляет ID по закреплённым хешам исходников, уникальным якорям и обратимому преобразованию. Отсутствующий или неоднозначный якорь должен останавливать запуск. В текущем исследовании Caveman карта была явной, проверенной и замороженной; автоматическая семантическая сегментация не была доказана. Поэтому LLM может помочь выбрать единицы, но не нужна для создания каждого ID.

В качестве конкретного источника исследование использует Caveman. Публичный репозиторий фиксирует проверенные входные данные и их происхождение, не превращая фикстуры в боевые навыки.

Что изменилось между v1 и v2

V1 запрашивал ответ, отдельно процитированные фрагменты и ID правил. В 80 завершённых вызовах модель выдала 14 утверждений. Два смысловых утверждения указывали на исходный текст, которого не было в ответе. Точная проверка обнаружила дефект, но формат ответа его допускал. При таком формате ничто не мешало ответу сослаться на фрагмент вроде 17 × 19 = 323 (пример взят из случаев v2 для иллюстрации) как выведенный из правила, хотя в возвращённом ответе такой строки не было. Поэтому отчёт v1 назвал результат перспективным, но неубедительным.

В v2 ответ стал конкатенацией возвращённых сегментов. Каждый сегмент несёт собственные привязки к инструкциям, причём пустой список допустим. Теперь привязка структурно прикреплена к реально существующему тексту: сегмент со строкой 17 × 19 = 323 либо несёт привязку, либо нет, и отдельной цитаты, которая могла бы разойтись с ответом, больше не существует. Связь становится адресуемой, а её смысловая истинность по-прежнему требует отдельной оценки.

Исследование	Запланировано ответов	Дизайн	Наблюдаемый результат
V1	80	1 модель, 5 веток, 8 случаев, 2 повтора	14 утверждений; процитированный фрагмент мог отсутствовать в ответе
V2	120	2 закреплённые модели, 5 веток, 6 случаев, 2 повтора	27 привязок, прикреплённых к возвращённым сегментам

Пять веток v2: контрольная ветка terse-control, чистая и размеченная ветки текущего оригинала (original-clean и original-tagged), а также чистая и размеченная ветки исторического семантического ядра (semantic-clean и semantic-tagged). Такой набор веток ограничивает то, о чём могут говорить числа. Текущий оригинал и исторический кандидат имеют разные версии и контракты. Их различия смешивают версию, формулировки, гранулярность и инструментирование, поэтому по ним нельзя установить превосходство матрицы замен слов над семантическим ядром или наоборот. Чистая и размеченная ветки также используют общий сегментированный формат ответа, поэтому сравнение оценивает добавочные накладные расходы маркеров и привязок внутри этого протокола. Общие затраты относительно неструктурированного боевого ответа остаются вне этого сравнения. Все ограничения записаны в отчёте v2.

Три слоя свидетельств

V2 разделяет проверки, которые легко смешать:

1. Структурные проверки валидируют формат ответа, известные ID нужной ветки и точные цитаты источника.
2. Проверки ответа независимо от привязок проверяют заявленные артефакты, полярность, язык и корректность склейки.
3. Независимая смысловая проверка рассматривает сегмент, полный фрагмент источника и контекст задачи, сохраняя три оценки: совместимо (compatible), противоречит (contradicted) и недостаточно свидетельств (insufficient-evidence).

Третий слой является суждением модели, и его результат представляет собой набор счётчиков, а не долю. Для 27 выданных привязок независимая проверка моделью дала 18 оценок “совместимо”, 7 “противоречит” и 2 “недостаточно свидетельств”. Она также нашла 17 наблюдаемых пропусков. Здесь важны знаменатели. 18 совместимых привязок нельзя называть ни долей верных ответов 18/27, ни точностью. 17 пропусков не являются причинными ложноотрицательными результатами и не совпадают с другим множеством из 17 размеченных ответов, где независимо подтверждены нарушения ответа или склейки сегментов. Полная отрицательная вселенная кандидатов не получила независимой разметки, поэтому реальные точность и полнота остаются неопределёнными. Эти различия сохранены в замороженных агрегате и независимой проверке.

Арифметический ответ 17 × 19 = 323 показывает, что означает и чего не означает оценка “совместимо”. Один размеченный ответ связал его с широким правилом о точном сохранении технического содержания. Независимая проверка моделью сочла связь совместимой, потому что требуемая строка была сохранена. При этом та же проверка отметила, что совпадение слишком общее и не различает источники влияния. Верная арифметика вместе с совместимым широким правилом не показывает, что именно правило повлияло на ответ. Пустой список привязок для того же ответа тоже был допустимым воздержанием, и именно поэтому формат сохраняет воздержание легитимным.

Калибруем проверяющий скрипт на объявленных фактах

Контроли ложноположительных и ложноотрицательных срабатываний обретают смысл после явного определения единицы, наблюдаемого контракта и вселенной кандидатов. Полезные офлайн-фикстуры включают неправильные ID и ID из чужой ветки, неверные цитаты, скопированное несвязанное правило, контрпримеры с изменённой полярностью или языком и повреждённую матрицу. Соседние положительные контроли не дают победить проверке, которая отклоняет всё. Базовые варианты “всегда положительно” и “всегда пусто” должны проигрывать, а нулевой знаменатель остаётся неопределённым.

В отчёте v2 есть небольшая матрица ошибок для специально посаженных фикстур. Её числа описывают только этот объявленный офлайн-набор. Они не являются реальными долями модели. Роль детерминированных контролей именно такая: показать, что измеритель отклоняет известное нарушение по ожидаемой причине.

Что подтверждает прототип

Свидетельства подтверждают полезность ограниченной диагностики ответа с учётом источника. Она поддерживает обратимые оценочные фикстуры, структурно прикреплённые привязки, явное воздержание, отдельные проверки ответа и доступные для разбора разногласия. Она не подтверждает причинное происхождение, доступ к цепочке рассуждений, победу в бенчмарке, превосходство чистого сжатия или глобальную валидацию. Две модели и два повтора оставляют существенную неопределённость, а широкое сопоставление может быть неразличающим, как показала привязка на арифметическом ответе.

Следующим шагом предложено исследование синтетической устойчивости, которое ещё не выполнено. В нём разрешимые примеры создаются скриптом, семантические предложения проходят проверку, групповое разбиение на выборку для разработки и отложенную выборку вместе с основными метриками замораживается заранее, а родственные семейства перефразировок остаются в одной группе. Повторные исполнения отделяются от независимых семейств. Отложенная выборка не должна меняться после просмотра результатов. Простое увеличение числа строк не устраняет статистическую неопределённость, и предложение не обещает ни статистической мощности, ни успеха.

Воспроизводимый диагностический процесс

1. Зафиксировать исходные единицы, контракты задач, версии, хеши и уникальные якоря.
2. Проверить каждое предложенное моделью деление на семантические единицы.
3. Детерминированно создать обратимые маркеры в одноразовых оценочных копиях.
4. Запустить парные чистые и размеченные ветки с одинаковыми моделью, случаем, повтором, форматом ответа и настройками.
5. Собрать ответы из сегментов, затем раздельно проверить ID, цитаты, артефакты, полярность, язык и склейку.
6. Независимо проверить выданные привязки и сегменты без привязок, сохраняя воздержание и оценку “недостаточно свидетельств”.
7. Публиковать знаменатели, стоимость, смешивающие факторы, исправления и границы каждого утверждения.

Текущие команды офлайн-воспроизведения находятся в README публичного репозитория. Его 48 тестов являются детерминированными программными контролями. Считать их 48 независимыми экспериментальными подтверждениями было бы ошибкой.

Практическое следствие сводится к правилу публикации. Держите маркеры в одноразовых оценочных копиях, публикуйте каждый счётчик вместе со знаменателем и считайте совместимую привязку свидетельством того, что связь можно проверить, а не того, что она причинная. В этом скромном различии и находится суть метода: делать утверждения удобнее для проверки, не увеличивая их сверх доступных свидетельств.