Анализ методов автоматической классификации текстов - polpoz.ru o_O
Главная
Поиск по ключевым словам:
страница 1
Похожие работы
Название работы Кол-во страниц Размер
Общие характеристики и классификации фразеологических единиц 1 45.67kb.
Н. Г. Шаймердинова роль прецедентной личности С. Е. Малова в исследовании... 1 114.35kb.
Урок №1. Тема: «Типы текстов». Задачи: закрепить представления о... 1 103.54kb.
Построение сетевой модели новостного веб-контента с использованием... 1 27.4kb.
Разработка и анализ механизма для автоматической настройки ножа рыборазделочной... 1 87.79kb.
Письмо, поздравление, приглашение. Составление текстов 1 82.67kb.
Книготорговая классификация Разделы классификации Первый уровень... 1 268.98kb.
Сопоставительный анализ методов расчета фрактальной размерности как... 1 19.9kb.
Мы теряем сказку 1 136.28kb.
Воронцов Я. А., Матвеев М. Г 1 83.46kb.
Страсбургское соглашение о международной патентной классификации 1 179.47kb.
Поберегите школьника 1 54.01kb.
1. На доске выписаны n последовательных натуральных чисел 1 46.11kb.

Анализ методов автоматической классификации текстов - страница №1/1

АНАЛИЗ МЕТОДОВ АВТОМАТИЧЕСКОЙ КЛАССИФИКАЦИИ ТЕКСТОВ

В настоящее время можно выделить два принципиально разных подхода к классификации текстов:



  • экспертный подход – правила отнесения документа к рубрике задаются экспертами;

  • подход, основанный на какой-либо математической модели.

Основное преимущество экспертного подхода состоит в очень высоком качестве классификации. Но при большом количестве информации данный метод перестает быть эффективным. Поэтому возникает необходимость в применении автоматической классификации документов.

В ходе изучения и анализа работ[дисс_агеев, абмс], я пришел к выводу о том, что для автоматической рубрикации документов применяется четыре основных подхода:



  • нейросетевой;

  • статистический;

  • векторный;

  • деревья решений.

  1. Нейронные сети.

  2. Статистический подход.

  3. Векторный подход.

Данный подход заключается в преобразовании документов в вектора. Координатами векторов являются веса термов. Согласно [дисс_агеев], вес терма вычисляется по следующей формуле:

(номер)

где - вес i-го слова, - частота встречаемости i-го слова в данном документе (term frequency), - логарифм отношения количества всех документов в коллекции к количеству документов, в которых встречается i-ое слово (inverse document frequency).

Кроме того, в [дисс_агеев] обоснован такой выбор формулы следующим образом:


  • множитель учитывает следующий факт: что чем чаще встречается слово в документе, тем оно важнее;

  • множитель учитывает следующий факт: если слово встречается в большей части документов, то оно не является существенным критерием принадлежности документа рубрике и его вес следует понизить;

  • для учета различной длины текстов в документах, веса слов нормализуются.

В данном подходе можно выделить два метода автоматической классификации:

  • метод k-ближайших соседей (k-nearest neighbors, k-NN);

  • классификатор Роше (Rocchio classifier).

При использовании метода k-ближайших соседей, каждый документ d сравнивается со всеми документами из обучающей выборки (в какой части написать, что это такое?). Согласно [дисс_агеев], для каждого документа e из обучающей выборки находится расстояние до документа d как косинус угла между векторами признаков:

(номер)

После вычисления расстояний, из обучающей выборки выбираются k документов, ближайших к документу d. В [дисс_агеев] значение параметра k предлагается выбирать в интервале от 1 до 100. В работе же [кт_лиф] значение параметра k предлагается выбирать в интервале от 20 до 50.

Далее для каждой рубрики вычисляется количество документов из k документов, отобранных на предыдущем шаге [дисс_агеев]:

(формула)

Рубрика, у которой величина s больше, чем у других, будет приписана документу d.

В работах [tj_tc] и [80] приводятся хорошие показатели данного метода. Однако в работе [ila_sd] приводятся результаты, которые хуже, чем у статистических методов и деревьев решений.

В [дисс_агеев] говорится о том, что данный метод требует больших вычислительных затрат на этапе рубрикации. Классификатор Роше – еще один из способов автоматической классификации текстов, основанный на векторном представлении документа. В нем используется профайл для каждой из категорий. Согласно [кт_лиф], профайл – это список термов, наличие или отсутствие которых наиболее хорошо отличают категорию от других категорий. Таким образом, новый документ сравнивается не с каждым документом из обучающей выборки, а с профайлом каждой категории. Профайл для категории рассчитывается по следующей формуле [кт_лиф]:



(номер)

где ….


Преимущество данного метода состоит в том, что, при необходимости, можно быстро пересчитать профайлы для категорий. В [tj_tc] показано, что качество классификации данного метода немного хуже, чем у k-ближайших соседей.

В ходе переписки с Михаилом Сергеевичем Агеевым, был выявлен тот факт, что для рубрикации текстов небольшой длины (например, текст объявления) может не хватить стандартного векторного представления по словам и придется учитывать какую-либо специфику: расширение по синонимам или учет контекст появления текста. Это может существенно усложнить реализацию поставленной задачи.


izumzum.ru