Вопросы по PDF: как найти ответ в учебнике с нейросетью

Как задать вопрос PDF-файлу, получить ответ со страницей и проверить цитату. Что делать со сканами, формулами и поиском, который не находит слово.

У вас учебник на триста страниц и вопрос к семинару. Поиск находит сотню совпадений или ни одного, хотя нужное слово точно есть. Можно задать вопрос PDF-файлу через нейросеть и попросить показать страницу с ответом. Ниже пример запроса, порядок проверки цитаты и способы найти нужное место вручную.

Пример с учебным PDF

Скачать учебный протокол «Температура в аудитории» (PDF, 2 страницы). На первой странице дано правило отбора измерений, на второй записаны показания термометра. Приложите файл к сообщению в чате по документам и задайте вопрос:

Какой замер серии Б надо исключить и почему? Посчитай среднюю температуру по оставшимся замерам. Укажи страницу с правилом и страницу с показаниями.

Ответ для сверки. В 10:24 открыли форточку, поэтому по правилу со страницы 1 замер исключают. В журнале на странице 2 остаются 24,2 и 24,6 °C. Их среднее равно 24,4 °C. Если чат усреднил все три числа, проверьте, нашёл ли он условие на первой странице.

Как задать вопрос PDF-файлу

Сначала проверьте, выделяется ли текст в документе. Если страница ведёт себя как одна картинка, это скан: для работы с текстом его нужно распознать. Дальше:

  1. Приложите PDF к сообщению в сервисе, который умеет читать файлы. Если вопрос относится к одной главе, можно загрузить только её.

  2. Назовите конкретный вопрос и попросите опираться на файл. Например:

    Ответь только по приложенному учебнику.
    Где дано определение устойчивости по Ляпунову?
    Приведи короткую цитату, номер страницы файла и параграф.
    Если определения нет, так и скажи.
    
  3. Откройте указанную страницу и найдите цитату. Прочитайте абзац до и после: там могут быть условия, без которых ответ неверен.

  4. Если цитата не находится, ответ пока нельзя считать проверенным. Уточните запрос или найдите место через оглавление и поиск.

Номер печатной страницы и номер страницы PDF часто различаются. Поэтому в запросе лучше уточнить, какой номер вам нужен. Для формулы просите ещё объяснить обозначения и назвать условия её применения.

Начните с оглавления и указателя

Поиск по всему файлу кажется быстрее, но на большой книге он тонет в совпадениях. Сначала сузьте область.

  • Оглавление. Найдите главу и параграф. Во многих PDF есть панель закладок: оглавление в ней кликается и сразу открывает нужную страницу.
  • Предметный указатель в конце книги. Это алфавитный список терминов со страницами, где о них говорится. В некоторых учебниках номер страницы с определением выделен полужирным или курсивом, об этом сказано в начале указателя.
  • Список обозначений, если он есть. Помогает, когда в задаче буква, а что она значит, непонятно.

Учтите разницу номеров. Указатель и оглавление дают номер печатной страницы, а просмотрщик считает страницы файла по порядку, вместе с обложкой, титулом и предисловием. Откройте страницу 1 книги и посмотрите, какой у неё номер в просмотрщике: разница и есть сдвиг. Если в книге страница 87, а сдвиг 14, в просмотрщике ищите 101. Некоторые PDF хранят печатные номера, и тогда просмотрщик показывает оба.

Ищите по основе слова

Обычный поиск Ctrl+F (на Mac Cmd+F) ищет последовательность букв и не знает про формы слова. Поэтому:

  • Отрезайте окончание. «Устойчив» найдёт «устойчивость», «устойчивый» и «устойчивой». «Производн» найдёт «производная», «производной», «производную».
  • Для определения ищите формулировку. Определения часто построены как «… называется …». Запрос «устойчивой называется» или «называется устойчив» сразу ведёт к нужному месту, а не к ста упоминаниям.
  • Пробуйте синонимы. Автор учебника может говорить «стабильность» там, где преподаватель говорит «устойчивость».
  • Смотрите все результаты списком. В Acrobat Reader есть расширенный поиск (Shift+Ctrl+F): он выводит все совпадения списком, и можно включить поиск только целых слов (справка Adobe).

Формулы поиском находятся плохо: в PDF они часто набраны отдельными символами в особых шрифтах или вставлены картинкой. Формулу ищите по словам рядом с ней, например по названию теоремы.

Почему поиск не находит слово, которое видно

Ctrl+F ищет не по тому, что нарисовано на странице, а по текстовому слою под ней. Когда слой отсутствует или испорчен, поиск слепнет.

Раскрытый толстый учебник, над страницей лупа, сквозь линзу видна строчка, выделенная оранжевым

Причина Как узнать Что делать
Скан без текстового слоя Слово не выделяется мышкой Распознать скан (раздел ниже)
Перенос Слово разбито на две строки: «устой-чивость» Искать по части до или после переноса
Испорченный слой Скопированный абзац вставляется в блокнот набором чужих символов Распознать заново
Латиница после распознавания Слово целиком не находится, а его кусок без букв а, е, о, р, с, х находится Искать по такому куску, распознать заново с русским языком
Лигатуры в английском тексте Не находится «office» или «field» Искать по части слова: «ice», «eld»

Последние две строки про одно и то же явление: на экране буквы выглядят как обычно, а в текстовом слое записаны другие символы. Распознавание может вставить латинскую «с» в русское слово, а шрифт может хранить «fi» одним знаком.

Быстрая проверка на компьютере с утилитами Poppler:

pdffonts uchebnik.pdf
pdftotext -f 101 -l 101 uchebnik.pdf -

Первая команда показывает шрифты: пустая таблица значит, что текста в файле нет. Вторая печатает текст страницы 101 файла. Если там пусто или мусор, поиск по этой странице работать не будет.

Распознайте скан

Сканированный учебник нужно один раз прогнать через распознавание, и он станет доступен для поиска. Google Документы умеют распознавать PDF, но только до 2 МБ, а учебник обычно больше. Для целой книги подойдёт бесплатная программа OCRmyPDF:

ocrmypdf -l rus+eng --rotate-pages --deskew uchebnik.pdf uchebnik-ocr.pdf

Если в файле уже есть текст на части страниц, добавьте --skip-text. Если текстовый слой есть, но испорчен, --force-ocr распознает всё заново; страницы при этом сохранятся как картинки с новым текстовым слоем. Как установить программу и как проверять распознанный текст, разобрано в статье про фото доски и сканы.

Задайте вопрос файлу

Нейросеть, которой дали учебник, находит место быстрее поиска: ей не нужно точное слово. Но спрашивать надо так, чтобы ответ можно было проверить.

  • Просите ответ вместе с местом в книге. «На какой странице учебника определение устойчивости по Ляпунову? Процитируй определение дословно и укажи печатный номер страницы и номер параграфа.»
  • Запрещайте отвечать от себя. «Отвечай только по файлу. Если в файле ответа нет, так и напиши.» Без этой фразы модель может дополнить ответ тем, что знает вообще, и не сказать об этом.
  • Давайте нужную главу, а не всю книгу. Некоторые сервисы читают длинный файл не целиком. Сохраните главу отдельным PDF через печать с диапазоном страниц, и вопрос станет точнее.
  • Спрашивайте по одной вещи. Один вопрос, одно определение, одна страница. Сводку по трём главам проверять гораздо дольше.

Типичные ошибки модели в таких ответах: номер страницы файла вместо печатного (или наоборот), цитата, которой в книге нет в таком виде, и определение из другого источника вместо учебника.

Проверьте по странице

Любой ответ, который пойдёт в задачу или на экзамен, сверяйте с самой книгой. Это минута работы:

  1. Откройте страницу и найдите цитату. Удобно скопировать из ответа три-четыре слова подряд и поискать их через Ctrl+F.
  2. Прочитайте абзац до и после. Там бывают условия теоремы, оговорки вроде «в этом параграфе считаем, что…» и обозначения, введённые раньше.
  3. Убедитесь, что это определение, а не замечание, пример или упражнение.
  4. Цитата не находится? Попросите модель привести точный текст. Если и тогда не находится, считайте ответ непроверенным.

О том, почему нейросеть ошибается уверенно и как с этим жить, подробнее в статье о нейросети для учёбы.

Как это решает Tilpi

В Tilpi учебник можно приложить к сообщению и спросить по нему. Это бесплатно: нужна подтверждённая почта, действуют лимиты на месяц и день, а без тарифа файл до 20 МБ хранится сутки и сканы без текстового слоя не распознаются. В чате задания рядом с ответом стоит ссылка на источник со страницей, она открывает документ на месте цитаты, так что проверить ответ по странице можно сразу. С тарифа «Лайт» учебники и методички хранятся в «Материалах» по предметам, Тиль и чат задания ищут по ним и ссылаются на страницу.

ИИ для учёбы. По вашим лекциям.

Пришлите в чат лекцию, задачу или свой текст. Тилпи объяснит тему со ссылкой на страницу, разберёт решение по шагам и проверит оформление.

Спросить учебник в Tilpi