Чанкинг контента — разбиение текста на смысловые блоки (чанки), каждый из которых раскрывает одну мысль и понятен сам по себе.
Системы генеративного поиска работают не со страницей целиком, а с её фрагментами: делят документ на части, переводят их в векторы и выбирают самые близкие к запросу. Если раздел отвечает на один вопрос и начинается с ответа, шанс попасть в выборку выше.
Откуда термин
Слово chunking пришло из когнитивной психологии. В 1956 году психолог Джордж Миллер описал, что человек запоминает информацию блоками: семь плюс-минус два элемента. В обработке текста чанкингом назвали разбиение документа на части. С распространением RAG-систем в 2020-х чанкинг стал обязательным шагом: модель не может прочитать весь индекс, поэтому документы делят на фрагменты и ищут по ним.
Как системы делят текст
- По размеру: фиксированное число слов или токенов, обычно 200–500 токенов с перекрытием.
- По структуре: по заголовкам, абзацам, спискам.
- По смыслу: алгоритм ищет места, где меняется тема.
Если структура страницы ясная, нарезка по заголовкам совпадает со смыслом, и каждый чанк получается законченным.
Как писать под чанкинг
- Делите текст на разделы с подзаголовками h2 и h3.
- В каждом разделе — одна тема.
- Начинайте раздел с ответа или вывода.
- Повторяйте название предмета в начале раздела, а не «он» или «это».
- Держите разделы в пределах 100–300 слов.
- Не разрывайте логически связанный список или таблицу на разные разделы.
Ошибки
- Длинное полотно без подзаголовков: чанки режутся посреди мысли.
- Раздел, где начало и вывод разнесены на несколько экранов.
- Ключевая информация только во вкладках или аккордеонах, которые грузятся скриптом.
Хорошая нарезка помогает и людям: по структурированной странице проще найти нужное.
Частый вопрос
Нужно ли подгонять каждый раздел под точное число слов? Нет. Ориентир 100–300 слов полезен, но важнее, чтобы раздел раскрывал одну мысль целиком.