Що таке узагальнення?
Реферування тексту - це процес узагальнення блоку тексту, щоб зробити його коротшим.
Генеративні моделі ШІ, такі як GPT-5, GPT-4, LLaMA 3, Yi 34B і Mixtral 8x7B, дуже добре справляються з узагальненням тексту.
Припустимо, у вас є наступний блок тексту:
The tower is 324 metres (1,063 ft) tall, about the same height as an 81-storey building, and
the tallest structure in Paris. Its base is square, measuring 125 metres (410 ft) on each side.
During its construction, the Eiffel Tower surpassed the Washington Monument to become the tallest
man-made structure in the world, a title it held for 41 years until the Chrysler Building in New
York City was finished in 1930. It was the first structure to reach a height of 300 metres. Due to
the addition of a broadcasting aerial at the top of the tower in 1957, it is now taller than the
Chrysler Building by 5.2 metres (17 ft). Excluding transmitters, the Eiffel Tower is the second
tallest free-standing structure in France after the Millau Viaduct.
Цей технічний опис досить довгий, і, можливо, не всі ці деталі необхідні пересічному читачеві, щоб зрозуміти загальну ідею. Тому ми хочемо використати машинне навчання для того, щоб автоматично узагальнити цей фрагмент тексту.
Модель підсумовування повернула б щось на зразок цього:
The tower is 324 metres (1,063 ft) tall, about the same height as an 81-storey building. Its
base is square, measuring 125 metres (410 ft) on each side. During its construction, the Eiffel
Tower surpassed the Washington Monument to become the tallest man-made structure in the world.
Цікаво, чи не так? Як бачите, загальна ідея залишилася, але багато деталей було вилучено. Це робить текст вдвічі меншим від початкового розміру!
Існує кілька типів узагальнень. Наприклад, "генерація заголовків" - це створення дуже короткого речення, яке ідеально підходить для заголовка блогу або новини. "Узагальнення діалогу" - це перетворення цілого діалогу в скорочену версію. "Витягування" означає, що резюме складається лише з речень оригінального тексту, тоді як "абстрактне резюме" означає, що в резюме може бути створений новий вміст.