Что это такое: база знаний из обсуждений на форумах
Собрать базу знаний из обсуждений на форумах можно, если превратить комментарии в структурированный индекс: объект упоминания, счётчик и обратные ссылки на исходные сообщения. HackerBooks — пример такой базы: сайт hackerbooks.org индексирует около 16,5 тыс. книг, которые упомянули минимум два разных комментатора Hacker News с 2007 года по настоящее время.
Идея выросла из HackerTube Андрея Карпати — тот же принцип «что обсуждают на HN», но для книг. Автор прямо указывает: почти весь код, включая пайплайн обработки данных и сам сайт, написал Claude (Opus 5.5), человек в основном задавал направление и купил домен.
Ключевое отличие от обычной рекомендательной подборки: каждая книга ссылается обратно на комментарии, где её упомянули. То есть база знаний из обсуждений на форумах здесь не список «топ-100 книг», а прослеживаемый граф цитат.
Как устроен сбор данных: пайплайн и подсчёт упоминаний
Пайплайн строится на трёх шагах: выгрузка комментариев, извлечение названий книг и дедупликация с порогом по числу уникальных авторов. В HackerBooks порог — минимум два разных комментатора: книга попадает в индекс, только если её упомянули разные люди.
Схема, которую можно повторить:
- Выгрузить корпус комментариев за нужный период (в HackerBooks — с 2007 года).
- Извлечь упоминания книг: названия, авторы, варианты написания.
- Сопоставить варианты с одним каноническим объектом (матчинг названий — самая шумная часть).
- Отфильтровать по числу уникальных авторов: минимум два — уже сигнал, что книга всплывает в разных дискуссиях.
- Сохранить обратные ссылки на комментарии для каждой записи.
- Отдать данные наружу: в HackerBooks выгрузка доступна со страницы about.
Автор честно называет слабое место: счётчик считает любые упоминания, поэтому похвала и критика книги весят одинаково. Это ограничение базы знаний из обсуждений на форумах в целом — тональность нужно добавлять отдельным шагом.
Плюсы и минусы: где такой подход работает и где ломается
Подход даёт масштаб и прослеживаемость, но не различает контекст упоминания. Плюсы: тысячи объектов из живых дискуссий, обратные ссылки на источник, выгружаемые данные, низкий порог входа при наличии LLM для написания пайплайна.
Минусы и ограничения:
- Счётчик без тональности. Похвала и критика считаются одинаково — рейтинг не равен качеству.
- Ошибки матчинга. Названия книг склеиваются и расходятся: автор упоминает, что часть книг может отсутствовать или быть привязана неверно.
- Зависимость от одного источника. Индекс отражает вкусы конкретного сообщества, а не рынка.
- Дрейф корпуса. Новые комментарии меняют счётчики, нужна пересборка.
Где не работает: если нужен отбор по качеству или рекомендация «что читать именно вам» — счётчик упоминаний этого не даёт. Для персональных рекомендаций нужен отдельный слой оценки.
Сколько стоит и из чего складывается цена
Стоимость такой базы знаний складывается из трёх статей: генерация кода, вычислительные прогоны по корпусу и домен. В HackerBooks код почти целиком написала модель Claude (Opus 5.5), человек потратил время на постановку задачи и покупку домена.
Разложить бюджет можно так:
- Разработка. При генерации кода моделью основная цена — токены на итерации и ваше время на ревью.
- Обработка корпуса. Прогон извлечения и матчинга по комментариям с 2007 года — самая дорогая вычислительная часть, зависит от объёма и числа проходов.
- Инфраструктура. Домен и хостинг статического сайта — минимальная статья.
Точных цифр автор не приводит, поэтому ориентироваться стоит на объём корпуса и число прогонов LLM, а не на готовый прайс. Если планируете похожий проект, сравните варианты моделей по стоимости на реальной задаче — это отдельный разбор: как сравнить две LLM на реальной задаче.
Как выбрать подход: критерии для своей базы знаний
Выбирать стоит по четырём критериям, и у каждого есть проверяемая метрика. Ниже — критерии для базы знаний из обсуждений на форумах и конкретика по каждому.
- Порог упоминаний. В HackerBooks — минимум два разных комментатора. Порог 1 даёт максимум охвата и много шума, порог 3+ отсекает редкие, но ценные упоминания.
- Глубина истории. HackerBooks берёт период с 2007 года. Короткое окно (1–2 года) дешевле в обработке, но теряет старые обсуждения.
- Матчинг названий. Нужен канонический список объектов и правила склейки вариантов; без этого доля ошибочных привязок растёт.
- Выгрузка данных. Наличие открытой выгрузки (как на странице about у HackerBooks) определяет, сможете ли вы перепроверить результат и построить своё поверх.
Если проект открытый и вы хотите, чтобы им пользовались, заранее продумайте, как приводить людей: как привлечь первых пользователей к open-source проекту.
Как начать: шаги от корпуса до сайта
Начать можно за один цикл: корпус → извлечение → дедупликация → ссылки → публикация. Ниже порядок шагов, повторяющий логику HackerBooks.
- Определите объект индексации: книги, инструменты, статьи — что угодно, что люди называют в комментариях.
- Выгрузите комментарии за нужный период и сохраните ID сообщений и авторов.
- Прогоните извлечение упоминаний моделью, сохраняя исходный фрагмент текста.
- Сведите варианты названий к каноническим записям.
- Отфильтруйте по числу уникальных авторов (стартовый порог — 2).
- Привяжите к каждой записи ссылки на комментарии-источники.
- Опубликуйте индекс и откройте выгрузку данных.
Пример с цифрами: 16,5 тыс. книг, период с 2007 года, порог — два разных комментатора, автор кода — Claude Opus 5.5. Этого достаточно, чтобы оценить масштаб задачи и повторить её на своём корпусе.
Частые вопросы
Что такое HackerBooks? Индекс примерно 16,5 тыс. книг, упомянутых в комментариях Hacker News минимум двумя разными людьми с 2007 года; каждая книга ссылается на комментарии-источники, данные выгружаются со страницы about.
Кто написал код HackerBooks? Почти весь код, включая пайплайн данных и сайт, написал Claude (Opus 5.5); автор задавал направление и купил домен.
Почему счётчик упоминаний не равен качеству? Он считает любые упоминания: и похвалу, и критику — тональность не различается, поэтому рейтинг показывает частоту обсуждения, а не оценку книги.
Больше разборов по ИИ и автоматизации — в канале: @il_chum