Как проверить свой код тестами перед отправкой преподавателю

Чем тесты лучше ручных запусков, как писать assert и тесты на pytest, проверять исключения и крайние случаи и превращать пример из условия в тест.

Программа выдала правильный ответ на примере из условия, вы отправили её, а проверка преподавателя упала на пустом вводе. Один запуск проверяет один вход. Тест проверяет десятки входов за секунду, и его можно повторять после каждой правки. Ниже показано, как писать проверки на assert, как работать с pytest, какие крайние случаи проверять всегда и как превратить пример из условия в тест. Примеры проверены на Python 3.14 и pytest 9.2.

Ручная проверка и тест

Ручная проверка выглядит так: запустили, ввели числа, посмотрели на экран. После каждой правки её нужно повторять, и никто этого не делает. Исправили одну ошибку, сломали другое место и не заметили.

Тест устроен иначе: это код, который вызывает вашу функцию с известными данными и сравнивает результат с ожидаемым. Чтобы так проверять, вычисления должны жить в функции, которая возвращает значение. Если функция сама читает input() и печатает через print(), вызвать её из теста трудно. Поэтому ввод и вывод держите отдельно от расчёта.

Первый шаг: assert

Задание: проверить, високосный ли год. Первая версия кажется очевидной:

# leap.py
def is_leap(year):
    return year % 4 == 0

Проверки положим в отдельный файл:

# check_leap.py
from leap import is_leap

assert is_leap(2024)
assert not is_leap(2023)
assert not is_leap(1900), "1900 не високосный"
assert is_leap(2000)
print("Все проверки прошли")
Traceback (most recent call last):
  File "/home/student/lab2/check_leap.py", line 5, in <module>
    assert not is_leap(1900), "1900 не високосный"
           ^^^^^^^^^^^^^^^^^
AssertionError: 1900 не високосный

assert молчит, если условие истинно, и бросает AssertionError, если ложно. Текст после запятой попадает в сообщение. Ошибка найдена: годы, кратные 100, високосные только если делятся и на 400.

У такого файла есть недостаток: он останавливается на первой упавшей проверке. Остальные не выполняются, и вы не знаете, сколько ещё ошибок впереди. Эту задачу решает pytest.

pytest: установка и запуск

Поставьте pytest в виртуальное окружение проекта (как его завести, описано в статье про pip и venv):

python -m pip install pytest

pytest сам находит файлы test_*.py или *_test.py и запускает в них функции, имя которых начинается с test. Внутри используется обычный assert.

# test_leap.py
from leap import is_leap


def test_ordinary_leap_year():
    assert is_leap(2024)


def test_ordinary_year():
    assert not is_leap(2023)


def test_century_is_not_leap():
    assert not is_leap(1900)


def test_every_400_years_is_leap():
    assert is_leap(2000)

Запуск из папки проекта:

python -m pytest
collected 4 items

test_leap.py ..F.                                                        [100%]

=================================== FAILURES ===================================
___________________________ test_century_is_not_leap ___________________________

    def test_century_is_not_leap():
>       assert not is_leap(1900)
E       assert not True
E        +  where True = is_leap(1900)

test_leap.py:13: AssertionError
=========================== short test summary info ============================
FAILED test_leap.py::test_century_is_not_leap - assert not True
========================= 1 failed, 3 passed in 0.02s ==========================

Точка значит пройденный тест, F упавший. pytest показывает, что вернула функция: is_leap(1900) дала True. Полезные ключи: -v печатает имя каждого теста, -x останавливает прогон на первом падении, -k century запускает только тесты, в имени которых есть century.

Параметризация: одна проверка, много входов

Четыре почти одинаковые функции читать скучно. Декоратор parametrize прогоняет один тест на таблице входов:

# test_leap.py
import pytest

from leap import is_leap


@pytest.mark.parametrize("year, expected", [
    (2024, True),
    (2023, False),
    (1900, False),
    (2000, True),
    (2100, False),
])
def test_is_leap(year, expected):
    assert is_leap(year) == expected

С ошибочной функцией в итоге видно, какие именно входы не прошли:

FAILED test_leap.py::test_is_leap[1900-False] - assert True == False
FAILED test_leap.py::test_is_leap[2100-False] - assert True == False
========================= 2 failed, 3 passed in 0.02s ==========================

Исправляем функцию:

def is_leap(year):
    return year % 4 == 0 and (year % 100 != 0 or year % 400 == 0)
test_leap.py::test_is_leap[2024-True] PASSED                             [ 20%]
test_leap.py::test_is_leap[2023-False] PASSED                            [ 40%]
test_leap.py::test_is_leap[1900-False] PASSED                            [ 60%]
test_leap.py::test_is_leap[2000-True] PASSED                             [ 80%]
test_leap.py::test_is_leap[2100-False] PASSED                            [100%]

============================== 5 passed in 0.01s ===============================

Крайние случаи и тест на исключение

Большинство ошибок живёт на краях: пустой список, один элемент, повторы, отрицательные числа.

Войлочная линейка на краю бумажного стола, рядом маленькие гирьки разного размера

Пусть нужно найти второе по величине число списка. Первая версия:

# stats.py
def second_max(numbers):
    return sorted(numbers)[-2]

На примере [3, 7, 5] она отвечает 5, и всё выглядит правильно. Добавим края: повтор максимума, отрицательные числа и списки, где второго числа нет. Для них условие пусть требует ошибку ValueError. Проверить, что функция бросает исключение, помогает pytest.raises:

# test_stats.py
import pytest

from stats import second_max


def test_usual_case():
    assert second_max([3, 7, 5]) == 5


def test_max_repeats():
    assert second_max([7, 7, 5]) == 5


def test_negative_numbers():
    assert second_max([-1, -5, -3]) == -3


@pytest.mark.parametrize("numbers", [[], [4], [2, 2, 2]])
def test_not_enough_values(numbers):
    with pytest.raises(ValueError):
        second_max(numbers)
FAILED test_stats.py::test_max_repeats - assert 7 == 5
FAILED test_stats.py::test_not_enough_values[numbers0] - IndexError: list ind...
FAILED test_stats.py::test_not_enough_values[numbers1] - IndexError: list ind...
FAILED test_stats.py::test_not_enough_values[numbers2] - Failed: DID NOT RAIS...
========================= 4 failed, 2 passed in 0.02s ==========================

Четыре ошибки, которых на примере из условия не видно. Исправленная версия:

def second_max(numbers):
    unique = sorted(set(numbers))
    if len(unique) < 2:
        raise ValueError("нужно хотя бы два разных числа")
    return unique[-2]

Список краёв, который стоит пройти для любой задачи:

  • пустой ввод, пустой список, пустая строка;
  • один элемент;
  • все элементы одинаковые;
  • ноль и отрицательные числа;
  • минимальное и максимальное значение из ограничений условия;
  • для C и C++: сумма или произведение, которые не помещаются в int.

Дробные числа: pytest.approx

Результаты с float нельзя сравнивать через ==: 0.1 + 0.2 в Python равно 0.30000000000000004. Тест на среднее упадёт, хотя функция верна:

import pytest


def average(grades):
    return sum(grades) / len(grades)


def test_average():
    assert average([0.1, 0.2]) == pytest.approx(0.15)


def test_average_exact():
    assert average([0.1, 0.2]) == 0.15
FAILED test_approx.py::test_average_exact - assert 0.15000000000000002 == 0.15
1 failed, 1 passed in 0.01s

pytest.approx сравнивает с небольшим относительным допуском. Его же можно применять к спискам чисел.

Если pytest поставить нельзя: unittest

На учебном компьютере может не оказаться прав на установку пакетов. В стандартной библиотеке Python есть модуль unittest, он работает без установки:

# test_leap_unittest.py
import unittest

from leap import is_leap


class TestLeap(unittest.TestCase):
    def test_century(self):
        self.assertFalse(is_leap(1900))

    def test_400(self):
        self.assertTrue(is_leap(2000))


if __name__ == "__main__":
    unittest.main()

Запуск: python -m unittest -v test_leap_unittest. С ошибочной is_leap вывод такой:

FAIL: test_century (test_leap_unittest.TestLeap.test_century)
----------------------------------------------------------------------
Traceback (most recent call last):
  File "/home/student/lab2/test_leap_unittest.py", line 8, in test_century
    self.assertFalse(is_leap(1900))
    ~~~~~~~~~~~~~~~~^^^^^^^^^^^^^^^
AssertionError: True is not false

Проверки здесь пишутся методами assertEqual, assertTrue, assertRaises вместо простого assert. pytest умеет запускать и такие тесты, так что переписывать их потом не придётся.

Пример из условия становится тестом

В условии обычно есть пример: что подаётся на вход и что программа должна вывести. Например, на вход 5, затем 3 7 5 7 1, на выходе 5. Программа читает ввод и печатает ответ:

# main.py
from stats import second_max

n = int(input())
numbers = list(map(int, input().split()))
print(second_max(numbers))

Самая простая проверка из терминала. Сохраните вход и ожидаемый ответ в файлы и сравните:

python main.py < input1.txt > output1.txt
diff output1.txt expected1.txt && echo OK

Если вывод отличается, diff покажет строки:

1c1
< 5
---
> 6

В Windows эти команды работают в командной строке cmd, а вместо diff там есть fc output1.txt expected1.txt. PowerShell перенаправление < не поддерживает (The '<' operator is reserved for future use.), а fc в нём означает другую команду. Поэтому для такой проверки откройте cmd или возьмите тест на pytest ниже. Если вывод проверяет программа, лишний пробел или «Ответ: 5» вместо «5» могут засчитать как ошибку.

То же самое внутри pytest. Тест запускает программу как отдельный процесс и подаёт ей ввод:

# test_main.py
import subprocess
import sys


def run(input_text):
    result = subprocess.run(
        [sys.executable, "main.py"],
        input=input_text, capture_output=True, text=True, timeout=5,
    )
    return result.stdout


def test_example_from_statement():
    assert run("5\n3 7 5 7 1\n") == "5\n"


def test_two_numbers():
    assert run("2\n-4 10\n") == "-4\n"

timeout=5 нужен на случай, если программа зациклится: тест упадёт, а не повиснет.

assert в C

В C есть такой же assert в заголовке assert.h:

#include <assert.h>
#include <stdio.h>

int is_leap(int year) {
    return year % 4 == 0;
}

int main(void) {
    assert(is_leap(2024));
    assert(!is_leap(2023));
    assert(!is_leap(1900));
    assert(is_leap(2000));
    printf("Все проверки прошли\n");
    return 0;
}
gcc -Wall -Wextra -g test_leap.c -o test_leap
./test_leap

На macOS сообщение такое:

Assertion failed: (!is_leap(1900)), function main, file test_leap.c, line 11.

В Linux с библиотекой glibc формат другой:

test_leap: test_leap.c:11: main: Assertion `!is_leap(1900)' failed.

В обоих случаях видны условие, файл и строка, а программа завершается аварийно. Если собрать с флагом -DNDEBUG, все assert отключаются. Поэтому в assert нельзя писать код, который должен выполниться, например assert(scanf("%d", &n) == 1).

Как с этим помогает Tilpi

Чат задания читает условие, поэтому его можно попросить перечислить крайние случаи и примеры для тестов. Исполнитель Tilpi пишет и прогоняет тесты в отдельной изолированной машине, где есть Python с pytest, gcc, g++ и Java, ищет ошибки, предлагает исправления и собирает отчёт о проверке в Word и PDF. Перед запуском он показывает план. Без тарифа исполнитель работает на уровне «Быстрая» из бесплатных ежемесячных кредитов, общих с чатом; нужна подтверждённая почта.

Запустим ваш код. Даже с телефона.

ИИ-исполнитель соберёт программу в отдельной машине, запустит её и пришлёт вывод и файлы. Ставить компилятор не нужно.

Проверить код тестами в Tilpi