Pandas для начинающих: загрузить таблицу, посчитать и построить график

Как прочитать CSV из русского Excel, посмотреть данные, выбрать столбцы, отфильтровать строки, сгруппировать, разобраться с пропусками и нарисовать график.

Преподаватель дал таблицу и написал: «Обработайте данные в Python». В Excel вы бы справились, а в pandas первая же строка падает с ошибкой кодировки. Ниже путь от CSV-файла до графика на маленькой таблице с оценками: каждая команда проверена, а ошибки, которые встречаются у всех новичков, разобраны отдельно.

Установка и файл для примера

Понадобятся pandas и matplotlib:

python3 -m pip install pandas matplotlib

Файл grades.csv сохранён из русского Excel. Так он выглядит в текстовом редакторе:

Студент;Группа;Лаб1;Лаб2;Экзамен ;Посещаемость
Иванов;ИВТ-21;8,5;7;4;0,9
Петрова;ИВТ-21;9;9,5;5;1
Сидоров;ИВТ-22;6;;3;0,6
Кузнецова;ИВТ-22;7,5;8;4;0,85
Смирнов;ИВТ-21;5;6,5;;0,7
Орлова;ИВТ-22;10;9;5;0,95
Волков;ИВТ-22;7;7,5;4;0,8
Зайцева;ИВТ-21;8;8,5;5;0,9

Три особенности сразу: разделитель точка с запятой, дробная часть через запятую, кодировка Windows-1251. Ещё в заголовке «Экзамен » затесался пробел, а в двух строках пустые ячейки. Всё это типично для файлов из русского Excel.

Загрузка: read_csv с кодировкой и разделителем

Первая попытка:

import pandas as pd

df = pd.read_csv("grades.csv")
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xd1 in position 0: invalid continuation byte

pandas по умолчанию читает UTF-8, а файл в cp1251. Добавляем кодировку, и ошибка уходит, но df.shape показывает (8, 1): вся строка попала в один столбец, потому что разделитель не запятая. Правильный вызов:

df = pd.read_csv("grades.csv", sep=";", encoding="cp1251", decimal=",")

Без decimal="," числа вроде 8,5 останутся текстом, и считать по ним не получится. Если файл сохранён как «CSV UTF-8», параметр encoding не нужен.

Если дали файл .xlsx, читайте его через pd.read_excel("grades.xlsx"). Кодировка и разделители там не нужны, но понадобится ещё пакет openpyxl: без него pandas выдаст ImportError с подсказкой его установить. Пробел в заголовке из Excel переедет в pandas точно так же.

Первый взгляд: head, info, describe

print(df.head(3))
   Студент  Группа  Лаб1  Лаб2  Экзамен   Посещаемость
0   Иванов  ИВТ-21   8.5   7.0       4.0           0.9
1  Петрова  ИВТ-21   9.0   9.5       5.0           1.0
2  Сидоров  ИВТ-22   6.0   NaN       3.0           0.6

NaN это пропуск: у Сидорова нет второй лабораторной. df.info() показывает типы столбцов и сколько в каждом непустых значений:

 #   Column        Non-Null Count  Dtype
 0   Студент       8 non-null      str
 1   Группа        8 non-null      str
 2   Лаб1          8 non-null      float64
 3   Лаб2          7 non-null      float64
 4   Экзамен       7 non-null      float64
 5   Посещаемость  8 non-null      float64

Числовые столбцы должны быть float64 или int64. Если там текстовый тип, значит, при чтении не угадан разделитель дроби. Текстовый тип в pandas 3 называется str, в pandas 2 object.

df.describe().round(2) выдаёт сводку по числовым столбцам: количество, среднее, стандартное отклонение, минимум, квартили, максимум.

        Лаб1  Лаб2  Экзамен   Посещаемость
count   8.00  7.00      7.00          8.00
mean    7.62  8.00      4.29          0.84
std     1.62  1.08      0.76          0.13
min     5.00  6.50      3.00          0.60
...

Столбцы и KeyError

Столбец в pandas выбирают по имени, и имя должно совпасть до последнего символа.

Войлочный кот Тиль вытягивает одну бумажную полоску из стопки разноцветных полосок, сложенных как таблица

Пытаемся взять столбец экзамена:

df["Экзамен"]
KeyError: 'Экзамен'

Столбец на месте, но называется "Экзамен " с пробелом в конце. Смотрите настоящие имена так:

print(df.columns.tolist())
# ['Студент', 'Группа', 'Лаб1', 'Лаб2', 'Экзамен ', 'Посещаемость']

Лечится одной строкой сразу после загрузки:

df.columns = df.columns.str.strip()

Один столбец берут в одинарных скобках и получают Series, несколько столбцов передают списком и получают таблицу:

df["Экзамен"].mean()             # 4.2857...
df[["Студент", "Экзамен"]]       # таблица из двух столбцов

Фильтр строк

Условие в квадратных скобках оставляет строки, где оно истинно:

df[df["Экзамен"] >= 5]

Для нескольких условий нужны & (и), | (или) и обязательно скобки вокруг каждого условия:

df[(df["Группа"] == "ИВТ-21") & (df["Лаб1"] >= 8)]

Получатся Иванов, Петрова и Зайцева. Без скобок Python сначала выполнит "ИВТ-21" & df["Лаб1"] и выдаст TypeError. Слово and вместо & даёт ValueError: The truth value of a Series is ambiguous.

Новый столбец и группировка

df["Сумма"] = df["Лаб1"] + df["Лаб2"]

У Сидорова сумма получится NaN: любая арифметика с пропуском даёт пропуск.

Средний балл за экзамен по группам:

print(df.groupby("Группа")["Экзамен"].mean())
Группа
ИВТ-21    4.666667
ИВТ-22    4.000000

Несколько показателей сразу, с понятными именами столбцов:

df.groupby("Группа").agg(
    экзамен=("Экзамен", "mean"),
    посещаемость=("Посещаемость", "mean"),
    студентов=("Студент", "count"),
)

Пропуски: найти и решить, что с ними делать

print(df.isna().sum())          # сколько пропусков в каждом столбце
print(df[df["Экзамен"].isna()]) # строки, где нет оценки за экзамен

mean() и describe() пропуски просто не учитывают. Поэтому среднее ИВТ-21 выше посчитано по трём оценкам, а не по четырём: у Смирнова экзамена нет.

Дальше решаете по смыслу:

  • df["Лаб2"].fillna(0) подставляет ноль. Это верно, только если пустая ячейка значит «работы нет, ноль баллов». Среднее по Лаб2 сразу падает с 8,0 до 7,0.
  • df.dropna(subset=["Экзамен"]) выбрасывает строки без оценки. Таблица станет короче на одну строку.
  • Оставить как есть и написать в отчёте, что среднее посчитано по семи студентам из восьми.

Молча заменять пропуски нулями нельзя: так меняется результат.

График

import matplotlib.pyplot as plt

ax = df.groupby("Группа")["Экзамен"].mean().plot(kind="bar")
ax.set_ylabel("Средний балл за экзамен")
ax.set_title("Экзамен по группам")
plt.tight_layout()
plt.savefig("exam.png", dpi=150)

Точечный график зависимости экзамена от первой лабораторной строится так: df.plot(x="Лаб1", y="Экзамен", kind="scatter"). В Jupyter график появится сам, в обычном скрипте добавьте plt.show() или сохраняйте в файл, как выше.

Сортировка и сохранение результата

Три лучших студента по сумме лабораторных:

top = df.sort_values("Сумма", ascending=False).head(3)
print(top[["Студент", "Сумма"]])
   Студент  Сумма
5   Орлова   19.0
1  Петрова   18.5
7  Зайцева   16.5

Строки с пропуском в столбце сортировки уходят в конец, поэтому Сидорова здесь нет. Сколько студентов в каждой группе, покажет df["Группа"].value_counts().

Чтобы результат открылся в русском Excel без кракозябр и с правильными дробями, сохраняйте его с теми же настройками, с какими читали, только в UTF-8 с меткой порядка байтов:

df.to_csv("result.csv", sep=";", decimal=",", index=False, encoding="utf-8-sig")

Параметр index=False убирает лишний столбец с номерами строк 0, 1, 2…

Частая ошибка: SettingWithCopyWarning

Такой код хочет обнулить первую лабораторную у группы ИВТ-22:

df[df["Группа"] == "ИВТ-22"]["Лаб1"] = 0

Таблица при этом не меняется. Фильтр создаёт промежуточный объект, и присваивание уходит в него. В pandas 2 вы увидите предупреждение SettingWithCopyWarning. В pandas 3 его убрали, такая цепочка присваиваний просто не работает и выдаёт предупреждение ChainedAssignmentError (что нового в pandas 3.0). Правильно одним шагом через .loc:

df.loc[df["Группа"] == "ИВТ-22", "Лаб1"] = 0

Вторая версия той же ошибки: отфильтровали таблицу в новую переменную и добавляете в неё столбец. В pandas 2 это тоже вызывает предупреждение. Если нужна отдельная таблица, скажите об этом явно:

good = df[df["Экзамен"] >= 4].copy()
good["Итог"] = good["Лаб1"] + good["Лаб2"]

Версию pandas покажет print(pd.__version__).

Шпаргалка по ошибкам

Сообщение Причина Что сделать
UnicodeDecodeError файл не в UTF-8 encoding="cp1251"
shape равен (n, 1) не тот разделитель sep=";"
числа имеют тип str или object дробь через запятую decimal=","
KeyError с именем столбца пробел или другая буква в имени df.columns.str.strip(), проверить df.columns.tolist()
TypeError в фильтре нет скобок вокруг условий (условие1) & (условие2)
ValueError: The truth value… and или or в фильтре & вместо and, | вместо or
SettingWithCopyWarning присваивание по цепочке .loc или .copy()

Как с этим помогает Tilpi

В чате задания Tilpi можно приложить файл с данными и условие: он напишет код на pandas и объяснит каждую строку, а если что-то падает, разберёт ошибку. Исполнитель запустит этот код в отдельной машине, где уже стоят Python, pandas и matplotlib, покажет план перед запуском и вернёт графики и числа в задание. Без тарифа исполнитель работает на уровне «Быстрая» из бесплатных ежемесячных кредитов, общих с чатом; нужна подтверждённая почта.

ИИ для учёбы. По вашим лекциям.

Пришлите в чат лекцию, задачу или свой текст. Тилпи объяснит тему со ссылкой на страницу, разберёт решение по шагам и проверит оформление.

Обработать свои данные в Tilpi