Сен
21
«Текстерра» новая система автоматического анализа текста.
Институт Системного Программирования РАН представил собственную уникальную разработку в области интеллектуального анализа текста и машинного обучения — систему «Текстерра».В программе заложены новые методы компьютерного анализа.
Программное решение имеет следующие возможности:
- автоматически проводить лингвистический анализ текста
- понимает как русские, так и английские тексты
- проводит информационный поиск.
«Текстерра» проводит автоматический лингвистический анализ текста как на русском, так и на английских языках, осуществляет информационный поиск и анализирует мнения, представленные в текстах.
Система «Текстерра» уже входит в единый реестр российских программ.
Главной задачей разработки данной системы является многозадачность языка. Иногда одно и тоже слово или термин может иметь разное значение, в зависимости от контекста. Поэтому программа должна различать и анализировать такие особенности в тексте.
Возьмем к примеру слово «мышь». «Мышь» может быть домашней мышью одним из видов грызунов, а может быть компьютерной мышкой - устройством вывода команд компьютера.
Первое обучение и тестирование системы прошло в социальных сетях. Система «Текстерра» училась анализировать разные сообщения на сайтах и форумах. И обучение не прошло бесследно, уже на сегодняшний момент система знает более 7 миллионов терминов и понятий.
Главной особенностью системы «Текстерра» является быстрая скорость обработки текстовой информации и адаптивность к сленгу. Система понимает смысл текстов, написанных людьми.
Проверку и анализ система проводит в три этапа.
1 этап орфографический и лингвистический анализ текста
2 этап изучение полученной информации из текста
3 этап составление мнение из полученного текста
Данная прикладное решение используется только в ИСП РАН. Но в последующем планируется расширить поле действий.
Система схожа с алгоритмами Стэнфордского университета, которые тоже разработали систему анализа текстов. Правда прикладное решение «Текстерра» не имеет аналогов в России.
Источник: www.ras.ru