«Текстерра» новая система автоматического анализа текста.

Институт Системного Программирования РАН представил собственную уникальную разработку в области интеллектуального анализа текста и машинного обучения — систему «Текстерра».

В программе заложены новые методы компьютерного анализа.
Программное решение имеет следующие возможности:

• автоматически проводить лингвистический анализ текста
• понимает как русские, так и английские тексты
• проводит информационный поиск.

«Текстерра» проводит автоматический лингвистический анализ текста как на русском, так и на английских языках, осуществляет информационный поиск и анализирует мнения, представленные в текстах.

Система «Текстерра» уже входит в единый реестр российских программ.

Главной задачей разработки данной системы является многозадачность языка. Иногда одно и тоже слово или термин может иметь разное значение, в зависимости от контекста. Поэтому программа должна различать и анализировать такие особенности в тексте.

Возьмем к примеру слово «мышь». «Мышь» может быть домашней мышью одним из видов грызунов, а может быть компьютерной мышкой - устройством вывода команд компьютера.

Первое обучение и тестирование системы прошло в социальных сетях. Система «Текстерра» училась анализировать разные сообщения на сайтах и форумах. И обучение не прошло бесследно, уже на сегодняшний момент система знает более 7 миллионов терминов и понятий.

Главной особенностью системы «Текстерра» является быстрая скорость обработки текстовой информации и адаптивность к сленгу. Система понимает смысл текстов, написанных людьми.

Проверку и анализ система проводит в три этапа.
1 этап орфографический и лингвистический анализ текста
2 этап изучение полученной информации из текста
3 этап составление мнение из полученного текста

Данная прикладное решение используется только в ИСП РАН. Но в последующем планируется расширить поле действий.

Система схожа с алгоритмами Стэнфордского университета, которые тоже разработали систему анализа текстов. Правда прикладное решение «Текстерра» не имеет аналогов в России.

Источник: www.ras.ru