Как превратить фото доски и сканы методички в текст

Как снять доску, чтобы текст распознался, чем распознать фото на iPhone и Android, как сделать скан PDF с поиском и проверить формулы и таблицы.

Преподаватель исписал всю доску, вы сфотографировали её с пятого ряда, а методичку выдали сканом на шестьдесят страниц. Пока это картинки, в них не поищете слово, не скопируете формулу и не зададите вопрос нейросети. Ниже как снимать, чтобы распознавание сработало, чем распознавать на телефоне и компьютере, что делать с формулами и таблицами и как проверить результат.

Как снимать доску

Качество распознавания сильно зависит от снимка. Google в справке по распознаванию в Диске советует резкие снимки с ровным светом и высоким контрастом, текст высотой не меньше 10 пикселей и правильно повёрнутые страницы (справка Google Диска).

Телефон на штативе из книг снимает исписанную доску, рядом лист с ровными строчками

Для доски это значит:

  • Без вспышки. На глянцевой доске вспышка даёт белое пятно прямо на тексте. Если блик от ламп, сделайте шаг в сторону.
  • Ровно. Держите телефон параллельно доске, камера на уровне середины надписи. Снятый под углом дальний край выходит мелким и размытым, а выравнивание потом исправляет форму, но не резкость.
  • Ближе. Лучше подойти, чем растягивать картинку пальцами: цифровое увеличение добавляет размытость.
  • Резко. Коснитесь доски на экране, чтобы камера навела фокус, и упритесь локтями в стол. Сразу после снимка увеличьте его и проверьте мелкие индексы.
  • Частями. Большую доску снимайте по колонкам с небольшим перекрытием, плюс один общий кадр, чтобы потом понять порядок.
  • Вовремя. Снимайте сразу, как преподаватель дописал блок: в конце пары доску уже стирают.

Методичку снимайте на столе при дневном свете, страница целиком в кадре, без пальцев на полях.

Обрезка и выравнивание

Обычная камера сохраняет доску вместе со стеной и головами впереди сидящих. Режим сканирования документов сам находит края, выпрямляет перспективу и обрезает лишнее.

  • iPhone. В «Заметках» откройте заметку, нажмите на скрепку и выберите сканирование документов. То же есть в приложении «Файлы» в меню «Ещё». В автоматическом режиме снимок делается сам, как только камера увидит края страницы. Углы можно подвинуть вручную, результат сохраняется в PDF (поддержка Apple).
  • Android. В приложении Google Диск нажмите кнопку с камерой. Синяя линия показывает границы будущего скана. После снимка есть обрезка с поворотом, фильтры и очистка от пятен и пальцев. Сохранить можно в PDF или JPG (справка Google Диска).

С доской это работает, если в кадр попали её углы. Если нет, обрежьте фото вручную в галерее и поверните так, чтобы строки шли горизонтально. Чёрно-белый фильтр повышает контраст, но формулы цветным мелом лучше оставить в цвете: иначе потеряете, что выделял преподаватель.

Распознать текст на телефоне

iPhone: функция Live Text. Работает на iPhone XS, XR и новее с iOS 15 и выше, включается в настройках языка и региона (поддержка Apple). Русский язык в списке поддерживаемых есть (Apple). Откройте фото, нажмите и удерживайте слово, растяните выделение и нажмите «Скопировать». В камере достаточно навести её на текст и нажать кнопку Live Text.

Android: Google Lens. Откройте снимок в Google Фото, запустите на нём Google Lens, выделите слова и скопируйте (справка Google). Lens распознаёт кириллицу, но, по словам самой Google, точнее всего работает с латиницей (блог Google).

Приложение «Яндекс». В умной камере есть вкладка «Текст»: наведите камеру или выберите фото из галереи, перейдите на эту вкладку и нажмите «Скопировать» (справка Яндекса). Яндекс прямо пишет, что камера распознаёт печатный текст.

Почерк на доске эти инструменты обычно читают хуже печатного шрифта. Короткую надпись с доски иногда быстрее перепечатать, чем исправлять распознанное.

Скан PDF: есть ли в нём текст

PDF бывает двух видов. В одном есть текстовый слой: слова можно выделить и найти поиском. В другом только картинки страниц, и для программы это фотографии.

Проверить просто: попробуйте выделить слово мышкой или найдите через Ctrl+F слово, которое видите на странице. Если не выделяется и не находится, текстового слоя нет. На компьютере с утилитами Poppler можно проверить командой:

pdffonts metodichka.pdf

Если под шапкой таблицы нет ни одного шрифта, в файле только картинки.

Добавить текстовый слой можно так:

  • Google Диск на компьютере. Загрузите PDF или фото, нажмите правой кнопкой и выберите «Открыть с помощью» → «Google Документы». Язык определяется сам, русский поддерживается. Ограничение: файл до 2 МБ, а списки, таблицы, колонки и сноски часто не распознаются (справка Google Диска). Длинный скан придётся резать на части.
  • OCRmyPDF. Бесплатная программа для командной строки: кладёт распознанный текст невидимым слоем под изображение страницы, и PDF становится доступен для поиска (документация). Нужен Tesseract с русским языком. На macOS ставится через brew install ocrmypdf tesseract-lang, в Ubuntu через sudo apt install ocrmypdf tesseract-ocr-rus.
ocrmypdf -l rus+eng --rotate-pages --deskew metodichka.pdf metodichka-ocr.pdf

Здесь -l rus+eng задаёт языки, --rotate-pages поворачивает перевёрнутые страницы, --deskew выпрямляет перекошенные. Если в файле часть страниц уже с текстом, программа по умолчанию остановится с ошибкой; тогда добавьте --skip-text.

Формулы и таблицы

Обычное распознавание рассчитано на строки текста, поэтому формулы ломаются: дробь вытягивается в строку, индексы и степени встают в одну линию с буквами, греческие буквы превращаются в латинские. Формула дисперсии, например, может превратиться в «o2 = 1/n E(xi - x)2».

Что делать:

  • Три-пять формул быстрее перепечатать самим.
  • Если формул много, попросите нейросеть, которая понимает изображения, переписать формулы с фото в LaTeX. Потом сверьте каждый символ с оригиналом. Правильная запись той же формулы выглядит так:
\sigma^2 = \frac{1}{n} \sum_{i=1}^{n} (x_i - \bar{x})^2

С таблицами похожая история: распознавание часто вытягивает их в столбик текста. Сфотографируйте таблицу отдельным кадром, обрежьте всё лишнее и после распознавания проверьте число строк и столбцов. Если в таблице есть итоговая строка, сложите столбец и сравните.

Как проверить результат

Всё, что пойдёт в расчёты и ответы, сверьте с оригиналом. Ошибки распознавания повторяются, поэтому проверять удобно по списку:

Что путается Пример
Похожие символы 0 и О, 1 и l, 3 и З, 6 и б, rn и m
Знаки минус и тире, ≤ и <, запятая и точка в дробях
Степени и индексы x² превращается в x2, a₁ в a1
Алфавит латинские a, e, o, p, c, x внутри русского слова
Порядок две колонки склеиваются построчно поперёк
Края обрезанные строки у загиба страницы и у края фото

Латиница внутри русского слова коварнее всего: на вид слово правильное, но поиск по нему ничего не находит. Если поиск не видит слово, которое точно есть на странице, причина часто в этом.

Текст для понимания темы переживёт пару опечаток. Числа, формулы и определения нет.

Как это решает Tilpi

Фото доски или скан можно сразу отправить боту Tilpi в Telegram или загрузить на сайте, бот складывает их в материалы. В «Материалах» (с тарифа «Лайт») лекции, методички и сканы хранятся по предметам, а Тиль и чат задания ищут по ним и ссылаются на страницу. Без тарифа чат по приложенным файлам бесплатный, но сканы без текстового слоя в нём не распознаются, поэтому такие файлы сначала прогоните через распознавание из этой статьи.

ИИ для учёбы. По вашим лекциям.

Пришлите в чат лекцию, задачу или свой текст. Тилпи объяснит тему со ссылкой на страницу, разберёт решение по шагам и проверит оформление.

Загрузить сканы в Tilpi