В Китае выпустили первую мощную языковую модель LLM

Исследовательская группа колледжа из провинции Цзянсу на Востоке Китая недавно выпустила первую в стране мощную языковую модель LLM, разновидность алгоритма искусственного интеллекта ИИ, который использует методы глубокого обучения и массивные наборы данных для проведения исследований древних китайских книг.

LLM для древних книг был разработан для интеллектуальной обработки древних текстов, содействия инновационному развитию в области исследования и сохранения древних китайских книг, повышения эффективности и качества наследования традиционной китайской культуры и содействия глубокой интеграции LLM с обработкой древних книг.

Магистерская программа «Сюньцзы», названная в честь Сюнь-цзы, одного из самых известных философов древнего Китая за его классическую конфуцианскую книгу «Сюньцзы», содержит подавляющее большинство древних китайских книг и документов, включая коллекции «Полной библиотеки в четырех разделах» или «Сику Цюаньшу», с крупномасштабным корпусом из более чем 2 миллиардов китайских иероглифов и слов.

С помощью этой модели исследователи могут быстро обобщать древние тексты и узнавать о темах древних книг. Модель также может извлекать ключевую информацию из древних текстов, такую как персонажи, события и места, для эффективной сортировки информации.

Кроме того, модель также может автоматически генерировать древние стихи, соответствующие правилам грамматики и просодии, с подсказками, которые ей дают пользователи, чтобы вдохновить любителей поэзии. LLM может точно переводить древние тексты на современный китайский, чтобы помочь исследователям понять первоначальный смысл и коннотацию древних текстов.

Исследовательская группа под руководством Ван Дунбо, профессора Колледжа информационного менеджмента Нанкинского сельскохозяйственного университета в Нанкине, провинция Цзянсу, уже десять лет работает в области оцифровки древних книг и документов. Благодаря наличию мощных вычислительных мощностей университета и на основе сценариев применения, предоставленных книжной компанией Zhonghua, исследовательская группа подготовила первую в Китае программу LLM по древним текстам с открытым исходным кодом в области искусственного интеллекта.

LLM был опубликован на таких веб-сайтах, как github.com и modelscope.cn, в виде программного обеспечения с открытым исходным кодом, что позволяет пользователям загружать и использовать его бесплатно.