Wrong Answer: почему тесты не проходят, хотя у вас всё работает

Почему автопроверка ставит Wrong Answer: формат вывода, приглашения ввода, переполнение int, крайние случаи. Чем WA отличается от TLE, что даёт стресс-тест.

Пример из условия проходит, ответ совпадает, а система пишет Wrong Answer на третьем тесте, и сам тест не показывает. Обычно дело не в хитром алгоритме. Чаще всего виноваты лишний текст в выводе, переполнение int или случай, который вы не проверили: пустой ввод, одно число, все отрицательные. Ниже причины в порядке частоты, способ проверить каждую у себя и стресс-тест, который находит ошибку, когда идеи кончились. Примеры проверены с gcc 12 и Python 3.12 в Linux.

Что значат вердикты

Вердикт Что произошло
OK, Accepted все тесты пройдены
Wrong Answer (WA) программа завершилась, но вывод не совпал с ожидаемым
Presentation Error (PE) ответ верный, но формат вывода другой; есть не во всех системах
Time Limit Exceeded (TLE) не уложилась в лимит времени
Memory Limit Exceeded (MLE) заняла больше памяти, чем разрешено
Runtime Error (RE) упала или вернула не 0 из main
Compilation Error (CE) не собралась на сервере

Система запускает программу на скрытых тестах: подаёт ввод на стандартный вход и сравнивает стандартный вывод с ответом, посимвольно или специальной программой-проверщиком. Первыми часто идут примеры из условия. Если WA на первом тесте, почти наверняка ошибка в формате. Если на одном из последних, ищите большие числа и крайние случаи.

Лишний текст в выводе

Самая частая причина WA у начинающих:

printf("Введите n: ");
scanf("%d", &n);
...
printf("Ответ: %d\n", result);

Человеку так удобнее, но проверяющая программа ждёт только число, а получает Введите n: Ответ: 10. В Python ловушка хитрее: input("Введите n: ") тоже печатает подсказку в стандартный вывод.

$ echo 5 | python3 prompt.py > out.txt
$ diff out.txt expected.txt
1c1
< Введите n: 10
---
> 10

Правило: выводите ровно то, что написано в разделе «Формат выходных данных», ни символом больше. Отладочную печать отправляйте в поток ошибок, его автопроверка обычно не сравнивает: fprintf(stderr, "i = %d\n", i); в C, print(i, file=sys.stderr) в Python.

Пробелы, переводы строк и формат чисел

Часть проверщиков прощает лишние пробелы и пустую строку в конце, часть сравнивает побайтно. Безопаснее выводить точно по образцу. Невидимые отличия показывает diff:

$ diff out_space.txt expected.txt
1c1
< 1 2 3 
---
> 1 2 3
$ diff out_nonl.txt expected.txt
1c1
< 1 2 3
\ No newline at end of file
---
> 1 2 3

В первом случае лишний пробел в конце строки, во втором нет перевода строки в конце. Разглядеть такое помогает cat -A out.txt (на Mac cat -et): конец строки показан как $, табуляция как ^I, а ^M перед $ значит, что файл сохранён с переводами строк Windows. Если тесты вы набирали в Windows, такой \r попадёт в прочитанные строки и сломает сравнение.

Ещё несколько мест, где формат расходится с ожидаемым:

  • YES и Yes для проверщика разные ответы.
  • Дробные числа: printf("%f") печатает 6 знаков после точки, а в условии может быть «ровно два». Пишите %.2f.
  • float хранит около 7 значащих цифр: float f = 16777217; печатается как 16777216. Для дробей берите double.
  • В Python round(2.5) даёт 2, а round(3.5) даёт 4: округление к чётному. Если в задаче «округлить по правилам математики», это WA.
  • Деление отрицательных чисел: в C -7 / 2 равно -3, а -7 % 2 равно -1; в Python -7 // 2 равно -4, а -7 % 2 равно 1. При переносе решения с одного языка на другой ответы расходятся.

Переполнение int

int вмещает числа до 2 147 483 647. Сумма трёх чисел по 10⁹ уже не помещается:

int n, x, sum = 0;
scanf("%d", &n);
for (int i = 0; i < n; i++) {
    scanf("%d", &x);
    sum += x;
}
printf("%d\n", sum);
$ echo "3 1000000000 1000000000 1000000000" | ./sum
-1294967296

Ни падения, ни предупреждения, просто неверный ответ на большом тесте. Прикиньте максимум по ограничениям: n до 10⁵ чисел до 10⁹ дают сумму до 10¹⁴. Для неё нужен long long (до 9,2·10¹⁸) и формат %lld. Опасны и произведения: n * n при n = 10⁵ это 10¹⁰, и если n типа int, переполнение случится до присваивания в long long. Пишите (long long) n * n.

Переполнения ловит санитайзер:

$ gcc -fsanitize=undefined sum.c -o sum && echo "3 1000000000 1000000000 1000000000" | ./sum
sum.c:8:13: runtime error: signed integer overflow: 2000000000 + 1000000000 cannot be represented in type 'int'

В Python целые числа не переполняются, но переполнение можно получить в numpy, где у массивов фиксированный тип.

Крайние случаи

Войлочный кот Тиль осторожно заглядывает за край бумажного стола, на котором разложены карточки

Пример из условия обычно «средний», а скрытые тесты проверяют края. Прогоните каждый из них:

  • n = 0 или пустая строка, если условие это допускает: деление на ноль в среднем, обращение к a[0].
  • n = 1: циклы от 1, сравнения с соседом, a[i + 1] на последнем элементе.
  • Все отрицательные: начальное значение максимума.
  • Все одинаковые: строгие и нестрогие сравнения, повторы.
  • Максимальные значения из ограничений: переполнение и время.
  • Уже отсортированный и обратный порядок для сортировок и поиска.

Классика из этого списка:

int n, x, max = 0;
...
if (x > max)
    max = x;
$ echo "3 -5 -2 -7" | ./maxneg
0

Правильный ответ -2. Максимум начинают с первого элемента, а не с нуля.

TLE не значит, что ответ неверный

Вердикт Time Limit Exceeded говорит только о времени. Сначала прикиньте сложность: при n = 10⁵ решение с двумя вложенными циклами не уложится. Если сложность в порядке, проверьте ввод и вывод, на больших тестах они бывают узким местом. Чтение миллиона чисел у нас заняло:

  • Python, input() в цикле: 0,62 с; одним вызовом sys.stdin.buffer.read().split(): 0,09 с;
  • C++, cin по умолчанию: 0,09 с; после std::ios::sync_with_stdio(false); std::cin.tie(nullptr);: 0,02 с.

Вывод миллиона строк через std::endl занял 0,41 с, через '\n' 0,02 с: endl сбрасывает буфер после каждой строки. На сервере проверки разница может оказаться больше.

Свои тесты до отправки

Сохраните примеры из условия в файлы и сверяйте вывод автоматически, а не глазами:

./prog < test1.txt > out1.txt
diff out1.txt ans1.txt && echo OK

Добавьте к ним файлы с крайними случаями из списка выше и проверяйте все сразу:

for t in tests/*.txt; do
    ./prog < "$t" > out.txt
    diff -q out.txt "${t%.txt}.ans" > /dev/null || echo "FAIL: $t"
done

Стресс-тест: когда идеи кончились

Если все свои тесты проходят, а WA остаётся, сравните решение с медленным, но очевидно правильным на тысячах случайных маленьких тестов. Пусть задача: найти максимальную сумму подряд идущих элементов массива. Быстрое решение за O(n):

int n;
scanf("%d", &n);
long long best = 0, cur = 0;
for (int i = 0; i < n; i++) {
    long long x;
    scanf("%lld", &x);
    cur = cur + x > x ? cur + x : x;
    if (cur > best)
        best = cur;
}
printf("%lld\n", best);

Медленное перебирает все отрезки за O(n²), в нём трудно ошибиться. Генератор на Python печатает случайный маленький тест:

import random
import sys

random.seed(int(sys.argv[1]))
n = random.randint(1, 5)
print(n)
print(*[random.randint(-10, 10) for _ in range(n)])

Скрипт гоняет оба решения, пока ответы не разойдутся:

#!/bin/bash
for i in $(seq 1 1000); do
    python3 gen.py $i > test.txt
    ./fast < test.txt > fast.txt
    ./slow < test.txt > slow.txt
    if ! cmp -s fast.txt slow.txt; then
        echo "Разница на тесте $i:"
        cat test.txt
        echo "fast: $(cat fast.txt), slow: $(cat slow.txt)"
        exit 1
    fi
done
echo "Все 1000 тестов совпали"
$ ./stress.sh
Разница на тесте 2:
1
-8
fast: 0, slow: -8

Тест из одного отрицательного числа: best = 0 не даёт ответу стать отрицательным. Исправляем на if (i == 0 || cur > best), запускаем снова и получаем Все 1000 тестов совпали.

Почему тесты маленькие: на массиве из пяти чисел ошибку видно глазами. Сид генератора равен номеру теста, поэтому любой упавший тест можно повторить командой python3 gen.py 2.

Порядок действий при WA

  1. Сравните вывод на примерах через diff, а не глазами.
  2. Уберите приглашения, пояснения и отладочную печать из стандартного вывода.
  3. Прикиньте максимальные значения и поменяйте int на long long, где нужно.
  4. Прогоните крайние случаи: n = 0, n = 1, отрицательные, одинаковые, максимальные.
  5. Соберите с -Wall -Wextra -fsanitize=address,undefined и прогоните все тесты.
  6. Напишите медленное решение и запустите стресс-тест.

Как с этим помогает Tilpi

Исполнитель Tilpi запускает решение в отдельной изолированной машине, пишет и прогоняет тесты, ищет ошибки и предлагает исправления. Ход работы виден в задании, в конце собирается отчёт о проверке в Word и PDF. В чате задания можно разобрать условие и попросить объяснить, на каком случае решение ошибается и почему. Исполнитель входит во все тарифы: в «Лайт» и «Стандарт» на уровне «Быстрая», в «Плюс» на всех уровнях, а без тарифа работает на «Быстрой» из бесплатных ежемесячных кредитов, общих с чатом.

Запустим ваш код. Даже с телефона.

ИИ-исполнитель соберёт программу в отдельной машине, запустит её и пришлёт вывод и файлы. Ставить компилятор не нужно.

Прогнать тесты в Tilpi