LEXERY
УвійтиПодати заявку

Заміри якості

Два тести 5 жовтня 2026 року: наші задачі юриста й державний тест з права від УЦОЯО.

Коротко

станом на 05.10.2026LEXERY і п’ять моделей без інструментів, однакові задачі

8,8з 10
Середній бал LEXERY у нашому тесті, на рівні GPT-6 Astra (8,7). На 10 нових задачах вищий бал у GPT-6 Astra.16 задач · 95 % інтервал 7,6–9,6
19з 20
Правильних відповідей у тесті УЦОЯО. Стільки ж у Claude Opus 5.5 і GPT-6 Astra.20 завдань · 95 % інтервал 76–99 %
27з 27
Судових рішень, названих у відповідях LEXERY, знайдено в ЄДРСР.16 відповідей · 95 % інтервал 88–100 %
176с
Медіанний час відповіді LEXERY. Моделям без інструментів потрібно від 23 до 64 с.16 задач · 9 з 10 відповідей до 368 с

Наш тест

LexBench-UA v2

16 задач, з якими юрист працює щодня: знайти чинну редакцію норми, порахувати строк, визначити процесуальні дії, підібрати практику Верховного Суду, скласти план документа. Відповідь оцінюємо від 0 до 10 за переліком ключових пунктів і штрафуємо за небезпечні помилки.

Задачі не публікуємо, щоб набір лишався закритим для наступних замірів.

Бал за переліком ключових пунктів, від 0 до 10

  1. LEXERYюридичний агент

    8,8 з 10, 16 задач, 95 % інтервал7,6–9,68,2 з 10, 10 нових задач, 95 % інтервал6,4–9,4

  2. GPT-6 AstraOpenAI

    8,7 з 10, 16 задач, 95 % інтервал7,3–9,78,8 з 10, 10 нових задач, 95 % інтервал7,0–9,9

  3. Claude Opus 5.5Anthropic

    7,8 з 10, 16 задач, 95 % інтервал6,5–9,07,8 з 10, 10 нових задач, 95 % інтервал5,7–9,4

  4. Gemini 3.8 FlashGoogle

    7,6 з 10, 16 задач, 95 % інтервал6,5–8,78,4 з 10, 10 нових задач, 95 % інтервал7,1–9,4

  5. Claude Sonnet 5.5Anthropic

    6,0 з 10, 16 задач, 95 % інтервал4,5–7,56,9 з 10, 10 нових задач, 95 % інтервал5,0–8,6

  6. GPT-OSS 120BOpenAI, відкриті ваги

    1,0 з 10, 16 задач, 95 % інтервал0,2–1,91,1 з 10, 10 нових задач, 95 % інтервал0,2–2,3

n = 16 задач · 5 жовтня 2026 року · судді Claude Opus 5 і Gemini 3.1 Pron = 10 нових задач · 5 жовтня 2026 року · судді Claude Opus 5 і Gemini 3.1 Pro · як ми міряли

Шість із 16 задач уже траплялися LEXERY на попередній експертній перевірці, тому окремо показуємо 10 нових. На них вищий бал у GPT-6 Astra, і ця різниця вже поза межами похибки.

Різниця з LEXERY на тих самих задачах, бали

  1. GPT-6 AstraOpenAI

    +0,195 % інтервал [−0,6; +1,0]у межах похибки−0,695 % інтервал [−1,1; −0,2]перевага GPT-6 Astra

  2. Claude Opus 5.5Anthropic

    +0,995 % інтервал [−0,9; +2,6]у межах похибки+0,495 % інтервал [−2,3; +3,0]у межах похибки

  3. Gemini 3.8 FlashGoogle

    +1,195 % інтервал [−0,5; +2,7]у межах похибки−0,295 % інтервал [−2,1; +1,6]у межах похибки

  4. Claude Sonnet 5.5Anthropic

    +2,895 % інтервал [+0,6; +4,7]перевага LEXERY+1,295 % інтервал [−1,5; +3,6]у межах похибки

  5. GPT-OSS 120BOpenAI, відкриті ваги

    +7,895 % інтервал [+6,0; +9,0]перевага LEXERY+7,095 % інтервал [+4,6; +8,7]перевага LEXERY

Парний бутстрап по задачах, 95 % інтервал. Якщо інтервал перетинає нуль, різницю не доведено. Як ми міряли

Інші метрики на тих самих 16 задачах

  • Правильний висновок

    Частка відповідей, де головний висновок правильний на 5 жовтня 2026 року.

    1. LEXERY91 %68–98, 14,5 з 16
    2. GPT-6 Astra91 %68–98, 14,5 з 16
    3. Claude Opus 5.581 %57–93, 13 з 16
    4. Gemini 3.8 Flash84 %60–95, 13,5 з 16
    5. Claude Sonnet 5.566 %41–84, 10,5 з 16
    6. GPT-OSS 120B6 %1–28, 1 з 16

    95 % інтервал Вільсона. Якщо судді оцінили висновок по-різному, відповідь рахується як половина.

  • Чинні посилання

    Частка посилань на статті, які існують у чинному тексті на data.rada.gov.ua. Чи доречне посилання, ця перевірка не оцінює.

    1. LEXERY100,0 %123 з 123, 95 % інтервал 97,0–100,0 %
    2. GPT-6 Astra100,0 %180 з 180, 95 % інтервал 97,9–100,0 %
    3. Claude Opus 5.599,6 %240 з 241, 95 % інтервал 98,5–100,0 %
    4. Gemini 3.8 Flash98,3 %113 з 115, 95 % інтервал 96,0–100,0 %
    5. Claude Sonnet 5.597,6 %249 з 255, 95 % інтервал 94,5–100,0 %
    6. GPT-OSS 120B88,4 %152 з 172, 95 % інтервал 83,2–93,5 %

    Інтервал: бутстрап по відповідях; коли чинні всі посилання, за Вільсоном.

  • Вигадані статтічим менше, тим краще

    Відповіді з посиланням на статтю чи частину, якої в законі немає.

    1. LEXERY0 з 160–19 % відповідей, 95 % інтервал
    2. GPT-6 Astra0 з 160–19 % відповідей, 95 % інтервал
    3. Claude Opus 5.50 з 160–19 % відповідей, 95 % інтервал
    4. Gemini 3.8 Flash0 з 160–19 % відповідей, 95 % інтервал
    5. Claude Sonnet 5.50 з 160–19 % відповідей, 95 % інтервал
    6. GPT-OSS 120B9 з 1633–77 % відповідей, 95 % інтервал

    Квадрат є однією відповіддю, заповнений: є посилання на неіснуючу статтю. 95 % інтервал Вільсона.

  • Судові рішення

    Номери справ з відповідей, звірені з ЄДРСР.

    1. LEXERY27 з 27 знайдено в ЄДРСРзнайдено всі
    2. GPT-6 Astra3 з 3 знайдено в ЄДРСРзнайдено всі
    3. Claude Opus 5.510 з 11 знайдено в ЄДРСР1 розбіжність
    4. Gemini 3.8 Flash0 з 3 знайдено в ЄДРСР2 розбіжності
      1 не існує
    5. Claude Sonnet 5.56 з 6 знайдено в ЄДРСРзнайдено всі
    6. GPT-OSS 120B0 з 1 знайдено в ЄДРСР1 не існує

    Квадрат є одним названим рішенням. Заповнений: знайдено. У рамці: реквізити не збігаються. Перекреслений: такого рішення немає.

  • Час відповідічим менше, тим краще

    Медіана від запиту до повної відповіді. LEXERY шукає й перевіряє джерела, тому відповідає довше.

    1. LEXERY176 сдо 368 с медіана; 90 % відповідей не довше
    2. GPT-6 Astra52 сдо 63 с медіана; 90 % відповідей не довше
    3. Claude Opus 5.564 сдо 77 с медіана; 90 % відповідей не довше
    4. Gemini 3.8 Flash23 сдо 29 с медіана; 90 % відповідей не довше
    5. Claude Sonnet 5.549 сдо 99 с медіана; 90 % відповідей не довше
    6. GPT-OSS 120B25 сдо 29 с медіана; 90 % відповідей не довше

    Друге число: 90 % відповідей не довші.

Усі числа таблицею
Наш тест, усі числа
МетрикаLEXERYGPT-6 AstraClaude Opus 5.5Gemini 3.8 FlashClaude Sonnet 5.5GPT-OSS 120B
Бал, 16 задач8,8 [7,6–9,6]8,7 [7,3–9,7]7,8 [6,5–9,0]7,6 [6,5–8,7]6,0 [4,5–7,5]1,0 [0,2–1,9]
Бал, 10 нових задач8,2 [6,4–9,4]8,8 [7,0–9,9]7,8 [5,7–9,4]8,4 [7,1–9,4]6,9 [5,0–8,6]1,1 [0,2–2,3]
Бал за суддею Claude Opus 58,7 [7,6–9,5]8,6 [7,3–9,6]7,8 [6,5–8,8]7,2 [5,8–8,5]5,6 [4,2–7,0]1,1 [0,4–2,0]
Бал за суддею Gemini 3.1 Pro8,9 [7,5–9,7]8,8 [7,3–9,8]7,9 [6,4–9,2]8,1 [7,1–8,9]6,4 [4,7–8,0]0,9 [0,0–1,8]
Загальна оцінка суддів, 0–108,7 [7,7–9,4]8,6 [7,7–9,3]7,4 [6,4–8,3]7,4 [6,5–8,1]5,8 [4,9–6,7]0,7 [0,4–1,0]
Правильний висновок14,5 з 16 · 91 % [68–98]14,5 з 16 · 91 % [68–98]13 з 16 · 81 % [57–93]13,5 з 16 · 84 % [60–95]10,5 з 16 · 66 % [41–84]1 з 16 · 6 % [1–28]
Чинні посилання123 з 123 · 100,0 % [97,0–100,0]180 з 180 · 100,0 % [97,9–100,0]240 з 241 · 99,6 % [98,5–100,0]113 з 115 · 98,3 % [96,0–100,0]249 з 255 · 97,6 % [94,5–100,0]152 з 172 · 88,4 % [83,2–93,5]
Відповіді з вигаданою статтею0 з 16 · 0 % [0–19]0 з 16 · 0 % [0–19]0 з 16 · 0 % [0–19]0 з 16 · 0 % [0–19]0 з 16 · 0 % [0–19]9 з 16 · 56 % [33–77]
Вигаданих посилань0000018
Судові рішення: знайдено в ЄДРСР27 з 273 з 310 з 110 з 36 з 60 з 1
Середнє місце серед 6, 1 = найкраще1,942,093,163,504,316,00
Час: медіана / 90 %, с176 / 36852 / 6364 / 7723 / 2949 / 9925 / 29
Бал: чинна редакція норми (n = 5)9,69,36,28,04,30,9
Бал: строки (n = 3)9,110,06,69,18,11,6
Бал: процесуальні дії (n = 4)7,27,49,49,28,41,6
Бал: практика Верховного Суду (n = 2)9,57,28,93,28,10,0
Бал: план документа (n = 2)8,89,29,65,90,30,0

Незалежний тест

МКТ-2022 від УЦОЯО

20 завдань із правничої частини демонстраційного варіанта магістерського комплексного тесту 2022 року. Відповідь зараховуємо, лише якщо вона збігається з офіційним ключем.

Правильні відповіді за офіційним ключем

  1. LEXERYюридичний агент

    19 з 2095 % інтервал 76–99 %

  2. GPT-6 AstraOpenAI

    19 з 2095 % інтервал 76–99 %

  3. Claude Opus 5.5Anthropic

    19 з 2095 % інтервал 76–99 %

  4. Gemini 3.8 FlashGoogle

    17 з 2095 % інтервал 64–95 %

  5. Claude Sonnet 5.5Anthropic

    16 з 2095 % інтервал 58–92 %

  6. GPT-OSS 120BOpenAI, відкриті ваги

    8 з 2095 % інтервал 22–61 %

n = 20 завдань · 5 жовтня 2026 року · 95 % інтервал Вільсона · як ми міряли

У LEXERY, Claude Opus 5.5 і GPT-6 Astra по одній помилці: у моделей завдання № 15, у LEXERY завдання № 39, де немає відповіді.

Два завдання з тесту

Завдання № 15 · Цивільне право України

Правильна відповідь лише в LEXERY

Громадянин П. заповів все своє майно, окрім квартири, своїй доньці. Квартира ж стала предметом спадкового договору, укладеного з його другом С. За умовами договору останній для набуття права власності на квартиру після смерті П. мав опублікувати збірку його віршів. Згодом П. дізнався про те, що в нього є позашлюбний син і змінив заповіт, зазначивши в ньому, що заповідає квартиру сину. Після виконання свого зобов'язання С. від позашлюбного сина дізнався, що П. помер, а в квартирі тепер проживає син. З яким позовом С. слід звернутися до суду для захисту своїх прав?

  1. АПро застосування наслідків недійсності нікчемного правочину. ключLEXERY
  2. БПро відшкодування шкоди, що є наслідком внесених у заповіт змін.
  3. ВПро витребування майна з чужого незаконного володіння.GPT-6 AstraGemini 3.8 FlashClaude Sonnet 5.5GPT-OSS 120B
  4. ГПро визнання заповіту в частині внесених змін недійсним.Claude Opus 5.5

Офіційний ключ: А. За ч. 2 ст. 1307 ЦК України «Заповіт, який відчужувач склав щодо майна, вказаного у спадковому договорі, є нікчемним».

Завдання № 39 · Міжнародне публічне право

Єдиний промах LEXERY у тесті

Як називається документ держави перебування, який допускає главу консульської установи до виконання своїх функцій?

  1. ААгреман.
  2. БПатент.
  3. ВЕкзекватура. ключGPT-6 AstraClaude Opus 5.5Gemini 3.8 FlashClaude Sonnet 5.5GPT-OSS 120B
  4. ГІндульгенція.

LEXERY: без відповіді

Усі п’ять моделей відповіли правильно. У LEXERY відповіді немає: агент не відкрив першоджерело, тому завдання зараховано як помилку.

Джерело завдань: Український центр оцінювання якості освіти (УЦОЯО), демонстраційний варіант МКТ-2022, testportal.gov.ua. У завданні № 15 виправлено друкарську помилку джерела («е» замість «є»).

Усі числа таблицею
Тест УЦОЯО, усі числа
МетрикаLEXERYGPT-6 AstraClaude Opus 5.5Gemini 3.8 FlashClaude Sonnet 5.5GPT-OSS 120B
Правильних відповідей19 з 20 · 95 % [76–99]19 з 20 · 95 % [76–99]19 з 20 · 95 % [76–99]17 з 20 · 85 % [64–95]16 з 20 · 80 % [58–92]8 з 20 · 40 % [22–61]
Без відповіді (зараховано як помилку)100000
Час: медіана, с251510666
Адміністративне право. Адміністративне судочинство1 з 11 з 11 з 11 з 11 з 10 з 1
Конституційне право України3 з 33 з 33 з 33 з 33 з 31 з 3
Кримінальне право України3 з 33 з 33 з 33 з 32 з 31 з 3
Кримінальне процесуальне право України1 з 11 з 11 з 11 з 11 з 11 з 1
Міжнародне публічне право3 з 44 з 44 з 44 з 44 з 42 з 4
Міжнародний захист прав людини2 з 22 з 22 з 21 з 22 з 21 з 2
Цивільне право України4 з 43 з 43 з 42 з 42 з 41 з 4
Цивільне процесуальне право України2 з 22 з 22 з 22 з 21 з 21 з 2
Розбіжності з LEXERY: правильно лише в LEXERY / лише в моделі; точний тест Мак-Немара1 / 1 p = 1,001 / 1 p = 1,003 / 1 p = 0,634 / 1 p = 0,3812 / 1 p = 0,003

Як ми міряли

  1. Набори замороженодо першої відповіді, з контрольною сумою SHA-256
  2. Однакові умовиодин промпт з датою для всіх моделей, без інструментів
  3. Машинна перевіркастатті за чинним текстом data.rada.gov.ua, рішення за ЄДРСР
  4. Два суддіClaude Opus 5 і Gemini 3.1 Pro бачать відповіді без назв систем
  5. Інтервали95 %: Вільсон для часток, бутстрап для середніх

Учасники

  • LEXERYробоча версія LEXERY
  • GPT-6 AstraOpenAI
  • Claude Opus 5.5Anthropic
  • Gemini 3.8 FlashGoogle
  • Claude Sonnet 5.5Anthropic
  • GPT-OSS 120BOpenAI, відкриті ваги
Промпт моделей
«Ти юридичний асистент з українського права. Відповідай українською мовою, посилайся на конкретні статті чинного законодавства України. Сьогоднішня дата: 05.10.2026.» Ліміт відповіді 16 000 токенів у нашому тесті й 6 000 у тесті УЦОЯО, налаштування міркування за замовчуванням постачальника.
LEXERY
Той самий шлях, що й у кабінеті юриста: пошук у корпусі законодавства, перевірка редакцій на rada.gov.ua, перевірка рішень у ЄДРСР. Нова розмова на кожне питання, не більше двох запитів одночасно.
Судді
Claude Opus 5 (Anthropic) і Gemini 3.1 Pro preview (Google), самі в замірі не беруть участі. Суддя бачить питання, перелік ключових пунктів, чинний текст норм і результат машинної перевірки; назви систем вирізано, порядок відповідей перемішано з фіксованим зерном. Бали двох суддів усереднено. Щодо головного висновку судді збіглися в 94 % випадків (96 пари оцінок).
Оцінка
Частка ключових пунктів, які має містити правильна відповідь (головний пункт важить удвічі), мінус 3 бали за критичну помилку й мінус 1 за суттєву. Шкала від 0 до 10.
Виключення
Немає: усі системи відповіли на всі 16 задач і 20 завдань без технічних збоїв. Кожне завдання УЦОЯО звірено з чинним текстом законів, застарілих не знайшли. Відповідь, яку не вдалося розпізнати, рахуємо неправильною.
Набори
LexBench-UA v2: 16 задач, SHA-256 f695cc4d…4dcc, заморожено 4 жовтня 2026 року о 22:44 UTC. 6 задач переказують завдання з попередньої експертної перевірки LEXERY, тому окремо показано 10 нових. МКТ-2022: 20 з 50 завдань, вибраних випадково з фіксованим зерном (вибір можна повторити), SHA-256 03caa866…57ec.
Статистика
95 % довірчі інтервали: Вільсон для часток, бутстрап (10 000 повторів) для середніх, парний бутстрап для різниць по задачах; у тесті УЦОЯО точний тест Мак-Немара.

Claude є торговельною маркою Anthropic, PBC, Gemini є торговельною маркою Google LLC, GPT-6 Astra і GPT-OSS є моделями OpenAI. Назви моделей лише позначають учасників заміру; їхні власники заміру не проводили й не схвалювали.

Межі заміру

  • Вибірка мала: 16 задач і 20 завдань. Інтервали широкі, а різницю всередині інтервалу не доведено.
  • Судді є моделями, а не юристами. Claude Opus 5 належить до тієї ж родини, що й моделі Claude серед учасників; Gemini 3.1 Pro належить до родини Gemini 3.8 Flash. Тому в таблиці є бали кожного судді окремо.
  • Відповіді LEXERY мають упізнаваний формат із цитатами норм, тож повної анонімності для суддів гарантувати не можна.
  • Машинна перевірка встановлює, що стаття існує й чинна, але не те, чи вона доречна до питання.
  • Тест УЦОЯО складається із завдань з вибором відповіді: він перевіряє знання права, а не роботу з документами. Ключ завдання № 42 дискусійний; офіційний ключ ми не змінювали.
  • Заміри зроблено один раз, 5 жовтня 2026 року. Моделі й LEXERY змінюються, тому результати наступних замірів можуть відрізнятися.
  • Gemini 3.5 Pro і Gemini 3 Pro були недоступні для нашого проєкту в ЄС, тому від Google у замірі Gemini 3.8 Flash. Окремої моделі для права в OpenAI немає.

Спробуйте у своїй практиці

Безоплатно, поки триває ранній доступ.

Подати заявку на пілот