Этапы контент-анализа и интерпретация результатов

· сетевым – позволяет исп-ть разл. типы отн-ий м/у компонентами, ен ограничиваясь отн-ми «род-вид».

Критерий выдачи - формальное правило, совокупность признаков, по кот. определяется степень формальной рел-ти поискового образа док-та и поискового предписания и принимается решение о выдаче/невыдаче некот. док-та в ответ на инф. запрос.

Недостатки:

 При поиске сущ. 2 проблемы: нерелевантность поиска (информац. шум) и неполнота поиска. Причиной инф. шума м.б. неправильное ключ. слово, многозначность слова, нечеткое формулирование комм. цели поиска. Неполнота поиска: сис-ма не м. найти нужную инф-ю, хотя она и имеется в БД. Одна из причин этого недостатка – синонимия.

 Компоненты ИПСclient – программа просмотра конкр. информ. рес-са (напр.,Netscape Navigator) обеспеч.просмотр док-тов WWW, Gopher user interface – интерфейс польз-ля, сп-б общения польз-ля с поиск. аппаратом сис-мы, т.е. с сис-мой формулировки запросов – просмотра рез-тов search engine – поисковая машина транслирует запрос польз-ля в формальн. запрос сис-мы, ищет ссылки на инф. рес-сы сети и выдает рез-ты польз-лю index database – индекс – осн. массив данных ИПС. Ищет адреса инф. рес-сов. Устроен чтобы поиск происходил max быстро и при этом м. б. бы оценить ценность рес-са. queries – запроса польз-ля, кот. сохр. в его личной БД index robot – робот-индексировщик служит для сканиров-я Интернет и поддержики индекса в актуальном сост-ии. Это осн. источ-к инф-ии о состоянии инф. рес-сов. WWW sites – инф. рес-сы сети.Примеры ИПСAltaVista: наиболее продвинутый яз. запроса. Кроме AND, OR, NOT есть NEAR – контекстный поиск. В запросе м. указать в какой части док-та польз-ль хочет видеть ключ. слово (в ссылке, заголовке…). Разрешает поис по ключ. фразам, имеет больш. сл-рь этих фраз. Это сис-ма с расширенным булевым поиском. Yahoo – ИПЯ прост – слова вводят ч/з пробел и они соед-ся AND, OR. Не выдается степень соотв-я док-та запросу, а т-ко подчеркиваются слова из запроса, кот. встретились в док-те. Не производит нормализации т-та. Она относ-ся к классу наиболее прстых традиц. сис-м с огранич. воз-ми поиска. Lycos – в простом запросе ввод. прдл-е на ЕЯ, сис-ма нормализует запрос. Почти сразу выдается инф-я о чиле док-тов, а потом - ссылки. указ. мера близости к запросу, число слов из запроса, кот. попали в док-т. В расшир поиске – булевый поиск. Wais – строит булевые запросы, считает формальн. релевант-ть по разл. мерам близости, взвешивает термины, корректирует запросы по релев-ти, усекает термины, разбивает док-ты на поля.

Компьютерная лексикография

В рамках КЛ разраб-ся комп технологии сост-я и эксплуатации сл-рей. Спец программы – БД, комп картотеки, ПО обраб-ки т-та – позволяют в автомат режиме форм-ть словар статьи, хранить словар инфу и обраб-ть ее.

Комп лгф программы:

1. программы поддержки лгф работ

Соврем комп технологии позволяют упростить процесс сбора и хранения лгф инфы, исп-я вместо обычн карточки (слово, пример уп-я, источник примера, автор + разл доп инфа) БД, записи кот. – аналог традиц картотеки. Записи БД дают возм-ть автом-ки сортировать массив по выбранным параметрам, отбирать нужные примера, объединять их в группы. (ej D-Base, ACCESS, Fox-Base, PARADOX – соврем БД)

Этапы создания:

1) фиксация первичного лгф мат-ла

2) построение конкорданса – поиск примеров и формирование картотеки примеров

3) составление словарной статьи в БД (+ редактирование)

4) формирование т-та сл-ря, создание оригинал-макета книги

Для сл-рей писателей м.б. предумотрен этап формирования корпуса т-тов пис-лей-современников, необх для выявления различий м/у особ-ми стиля и общ хар-ми языка соотв эпохи.

Издат с-мы, исп для создания оригинал-макета: издат пакет ПО Quark-X-Press, Page-Maker, WinWord. Наи> удобны с-мы со встроенными языками, кот. позволяют формировать макросы (операции обраб-ки): процедуры приписыв-я стилей, алфавитизации, созд-я указ-лей.

2. автоматические сл-ри разл типов + лгф БД

АС – сл-рь в спец машинном формате, предназн для исп-ия на ЭВМ польз-ля / комп ПО обраб-ки т-та.

а) АС конечного польз-ля – ч-ка по интерфейсу и строению сущ-но отлич-ся от АС, вкл-х в с-мы МП, авт реферирования, инф поиска… Чаще это комп версии хорошо изв-х обычн сл-рей (ej Webster, Collins, Ожегов) Они повторяют стр-ру словар статьи обычн сл-рей, но! обладают f-ми, недоступными св прототипам (ej, сортировка данных по полям словар статьи – отбор всех прилаг-х; автом поиск всех вокабул с опр сем комп-том)

б) АС для программ обраб-ки т-та – АС в точн смысле (не предназн для обычн польз-ля). Особ-ти их стр-ры, сфера охвата словар мат-ла задаются ПО, кот. с ними возд-ют (ej синт сл-рь, сем сл-рь, сл-рь морфем, псевдооснов, сл-рь устойчивых с/с-й)

- АС, исп-мые в с-мах инф поиска (имеют вид тезаурусов)

АС с-м МП (вкл-ют подроб инфу о морф, синт и сем особ-тях f-ния слова)

- с-мы проверки орфографии, распознавания письм т-та (осн-ны на обычн сл-рях, предусм морф анализ / синтез словоформ РЯ) ej Зализняк

- комплексные сл-ри с разл лекс и грам инфой

- АС конкордансов, кот содержат примеры на уп-е всех слов, представл в конкр произведении / творч наследии пис-ля.

3. WordNet – собств-но комп сл-рь

1) файлы с лгф инфой, кот. разраб-ны лгф-ми (содерж слф-мы брит и амер написания и их зн-я, кот. представлены синонимич группой SynSet – список слвф-м, взаимозаменяемых в неск синт констр-ях – чистые синонимы)

Учит-ся 2 типа отн-й: а. лекс (м/у относит прил и сущ, прил и нареч от него, антоним, синоним группы, SynSets); б. сем (гиперон, гипон, отн-я следования / вовлечения, мероним, голоним)

2) программы конвертации лгф инфы в БД – спец утилита, кот. преобр-ет инфу из 1 блока, проверяет синтаксис файла и преобр-ет маркеры отн-й и орг-и инфы во внутр яз БД

3) с-ма БД – структурированная инфа на машин яз (не предназн для чтения ч-ка) – осущ-ет хранение данных на внутр яз БД

4) программа манипуляции с инфой (обраб-ки инфы) – позволяет проводить исследования и выводить толкования и связи (лекс+сем) в удобочитаемой форме для польз-ля

Очередность появления зн-й зависит от частоты встречаемости зн-я.

4 POS: N -> Adj -> Adv -> V (легк -> сложн)

N – тематически иерарх стр-ры

V оторбраж отн-я наследования

Adj+Adv – абстр гиперполя

4. The linguist’s Shoebox

1) позволяет сост-ть АС (толкования + перевода)

2) интерлианизация т-та – вводится т-т на Я1, запускается интерлианиз-я и польз-ль подключает нужн сл-рь, ПО автом-ки расчленяет т-т на морфемы и присваивает каждому слову зн-е из сл-ря

3) позволяет хранить лингвострановедческую инфу, вводить конкр примеры словоуп-я в конт-те.

6Системы обработки ЕЯ: кл-ция, области прим-я.

Междисциплин прикладное направ-е "обработка ЕЯ" (пер англо термина Natural Language Processing) возникло в к.60-х гг. и разв-сь в рамках научно-технолог-й дисциплины "искус. интеллект".

Пр-ма автомат обработки (АО) ЕЯ привлекает ученых самых разл спец-тей: матем-в, спец-тов по искус интеллекту, линг-тов. Необх усл-е построения таких с-м -- наличие прост и надежн процедур перехода от предст-ия инфои в виде предл-ий на входе ЭВМ к предст-ию ее на внут я-ке с-мы.

Для с-м, обесп-их доступ к инфо в огр-ой области знаний, предложен шир спектр м-дов анализа: от предст-я запросов в виде наборов ключев слов до получ-я графов синт-х и семант-х стрр входных т-тов.

СОЕЯ , 4 группы: форматные, с текстовой основой, с огранич логикой и с общим выводом.

1) Форматные с-мы (ФС)-- наиб прост диалоговые с-мы, обычно исп-ют 2 жестких формата: 1 – д/предст-ия знаний, хранимых в с-ме, 2 – д/предст-ия входных и выходных сооб-й. Пример: модель общения, исп-щая табличн я. Вх сооб-е = таблица, заполняемая челом. Вых сооб-е = табличная формау. Таблица реглам-ет формат и порядок слов в предл-ях, что упрощает программы обработки и сп-бы хр-я данных в ЭВМ. ФС исп-ся д/созд-я простых инфо–справочных и учетных с-м. Они имеют узк целевую направ-сть и х-ся инфо-й жесткостью, не позвол-й перестраивать их д/др целей.

2) В с-мах с текстовой основой непоср-но хранится т-т на ЕЯ. Т-т снабжается схемами индексирования, на основе кот строятся запросы, и произв-ся поиск запраш-х предл-й или фрагментов т-та. Наиб распрост-ы с-мы, исп-щие дескрипторные я-ки. Дескрипторы – это лекс 1цы инфо-поискового я-ка, обл-щие смысловой однозн-тью. Они исп-ся д/индексирования текста. Дескрипторы и связи м/у ними устан-ся на основе анализа профес-го я-ка пользователя и формализуются в виде дескрипторного графа. При общении разреш-ся исп-ть слова только из словаря дескрипторов. Стра запроса строится в соотв-ии со стр-ой связей м/у дескрипторами. Недосток этих я-ов – невозм-ть организации процедур выбора более сложных, чем поиск по дескрипторному графу.

3) С-мы с ограниченной логикойисп-ют формальные модели предст-я знаний с упрощ-ми с-ми логического вывода. Наиб известные с-мы эт группы реализованы с исп-ем я-ов PLANNER и LISP.

4) С-мы с общим выводом исп-ют шир класс формальных моделей: семант модели, сети фреймов, нечеткие лингв-ие переменные, предикатные модели и др. В ряде работ с-мы общения реализованы с исп-ем универс процедуры доказ-ва теорем. Форма предст-я инфо в них не зависит от особ-тей самой с-мы общения. Это св-во дает возм-ть исп-ть такие с-мы в любой области, представимой в исчислении предикатов. Интеллектуальная в части яз общения с-ма д понимать т-т ЕЯ или ограниченного ЕЯ.

ЕЯ содержит все ср-ва д/выр-я алгоритмов и данных при их машин обработке, поэт он м служить прекрасным ср-вом комм-ции чел-а и ЭВМ. Любая Автоматизированная Инфо-ая С-ма, поэтому д им в своем составе набор ср-в АО ЕЯ-сообщений. ЕЯ сост из словаря и грамматики – любая с-ма АО ЕЯ-сообщений д им в составе «ср-ва грам обработки» и «ср-ва словарной (семант) обработки». С-мы подобн рода наз интеллектуальным интерфейсом.

Ср-ва грам обработки ЕЯ предст-ют собой формализованный набор правил грам-ки рус я. Но т.к. изм-е слов не всегда вклад-ся в рамки регулярности, то формализованной мб не вся грам-ка. Формализованный набор мб не полным и из–за недостаточной научности грам-ки. Т.о., все неучтенные правила м считать недопустимыми.

При формализации словаря наиб приемлема -- поуровневая обработка лекс 1иц. Д/каж предметной области дб определен словарь исходных (непроизводных) лекс 1иц (нижний уровень), посредством кот и с исп-ем инфо об имеющихся аффиксах м исчислять семантику любого производного слова, при этом средствами с-мы м получать нов производные слова, имея их семант отображение.

Итак, любой вид машин обработки ЕЯ-сообщений вкл-ет обработку отд-х лекс 1иц. Обработка отд-х слов – обработка сост-х слово частей: корня и аффиксальных частей. Стра подс-мы семантобработки ЕЯ-сообщений мб представлена в виде:

1. Модель текста

2. Модель фразы (группы слов)

3. Модель с/с-я (пары слов)

4. Модель слова

o модели аффиксов

o модель корня

Стра с-мы АО ЕЯ продиктована стр-рой смысла т-та, ибо любой т-т расчленяет на части именно смысл. Само слово нерасчленимо на части и именно смысл элем-х морфов позв-ет выд-ть в нем min-ые значимые 1цы. ЕЯ представлен, с т.з. морфологии, одноморфными и многоморфными словами. С т.з. слвобрзвния одноморфные слова это – непроизводные лекс 1цы, многоморфные – производные. Смысл произв слова исх из семантики морфов, вх-щих в состав произв слова, поэт естест часть модели я -- модель его слвобр-го уровня. Первонач-но исчис-ся смысл корня + работа подс-м моделей аффиксов = исчис-ся смысл производного слова. Такая орг-ция с-м семант анализа позволяет ускорить АО т-тов.

Области применения.

Матем модели семантики произв слов мб использованы в любых с- мах АО ЕЯ. Каж конкр вар-т с-мы необяз-но д содержать в себе ср-ва, спос-ые актуал-ть все возм-е семант реализации слова. В каж конкр случае с-ма м предст-ть собой некую редуцированную модель, ориент-ую на конкр предметную область. Неоднозначность я-ка (омонимия), устран-ся за счет соотв-х технологических мер: сочетание дан слова с др так, чт с/с-е в целом б однозначным.

Прим-е моделей возм-но в разл с-мах обработки т-тов рус я.:

- диалоговые с-мы;

- в с-мах авто редактирования,

- в с-мах авто корректирования д/обнаруж-я ошибок во входных текстах,

- в с-мах инфо поиска,

- в автоматиз обучающих с-мах.

- в с-мах машинного перевода.

- в с-мах анализа звучащей речи (коррекция ошибок, семант анализ вх-х сооб-й.

17Анализ и распознавание звучащей речи

Методы анализа реч сигнала

1. формантный анализ. Задача – опр-е частот формант в процессе их изм-я во времени, опис-е формант стр-ры речи. При произв-ве глух согл голосовые связки почти не принимают участия, шумовой источник нах-ся внутри реч тракта. Звонк согл явл-ся рез-том комбинации для ист-ка монотонных периодич колебаний и акуст шума (самый сложн для опис-я). В программе график – спектрограмма, кот. отраж след св-ва реч сигнала:

- изм-е спектрал стр-ры в координатах частота – время;

- изм-е энергетич насыщенности резонансных частот во времени;

- последоват-ть звуков с гармонической, шумовой и сложной стр-рой тон-шум

- наличие квазистационарных и переходных участков.

По источнику разл-ют 2 осн признака зв-в речи – вокалические В и консонантические К.

В. – особ стр-ра – ряд лежащих друг над другом темных полос, местополож-е кот-х обусловлено артикуляторн хар-кой данного гласного. Кажд полоса соот-вет разл формантн областям гласного снизу F1, F2, F3 диаграммы.

К. – незаметно следов F1, обл-ть спектрал хар-к выше гласных и форманты F3 и > появляются лишь в сегменте аспирации. Изм-е артикул-и при переходах к гласному отраж-ся в изгибах формант.

Реч сигнал – комбинация непрерывн (поперерыв формантн картина) и дискретн (включение / выключ-е голосовых связок, полн/частичн закрытие рта, смыкание мягкого неба) процессов.

Обычно число акуст сегментов превышает число фонет символов транскрипции. 1 взрывной смычный звук (п б м т) м. передаваться след сегментами: переход от предш звука, фаза смычки, фаза эксплодии, фрикация, аспирации, переход к послед звуку.

На спектрограмме реч поток м.б. также разделен на последов-ть сегментов, отраж признаки наличия – отс-я тона, сп-ба и места обр-я звука.

2. просодический анализ / ан-з вторичных акуст сигналов. Анализ-ся ЧОТ, длит-ть и интенсив-ть. Почти все виды интонац инфы м. передать с пом модификации ЧОТ – F0. попериодные изм-я ЧОТ наз-ся тонкой стр-рой осн тона. Она необх-ма при распознав-и индивид особ-тей голоса говорящего, при патологии речи и выр-и эмоций. А при изуч-и инт явл-й эта инфа сглаживается.

Анализ зв сигнала не включает понимание, это делает распознавание, кот. сост-т из след блоков: фонолог, морф, лекс, синт, сем (границы слов)

СРР (с-мы распознавания речи):

1. изолированных слов
2. для диктовки с исп-ем ограниченного сл-ря
3. дикторонезависимые (слит речь) / с настройкой на речь опр диктора

Гл цель – распознавание слит речи. Пр-ма – акуст образы произносимых слов проявляют большую зависиомсть от конт-та (образ – параметры, кот. считываются при анализе), нет пауз, трудно опр-ть границы слов; схожесть слов. Реш-е – ограничить сл-рь используемых слов.

Ч-к для РР исп-ет мн-во факторов, но не сущ-ет такой СРР, кот. учитывала бы все эти параметры:

- хар-ки звуков речи

- произносит вариативность

- ударение

- интонац контур речи

- звук образы слов

- грам стр-ра яз

- зн-я слов и пр-й

- конт-т общения

Основа СРР – акустико-фонетический процессор. Его цель – дать дискретное описание реч волны + привести в соотв-е реч выск-ние с его акуст-фон признаками (ЧОТ, интенсивность, длительность) без идентификации слов и их границ.=> грам анализатор (п/е получения дискретн отображ-я). Его задачи – 1) построение, проверка и распр-е составляющих конструкций в процессе постеп интерпретации входн выск-ния; 2) предсказание / подтверждение мн-ва созм слов для кажд опр участка фон формы (поступление дальнейш инфы)Эти процессы координируются в процессе уяснения синт и сем комп-ми. Обмен инфой продолж-ся до полн понимания.При анализе реч волны (АРВ) происх обнаружение начала и конца фраз / пр-й (это м. опр-ся ч/з смену «сигнал-шум» больш-во децибел – оконч-е фразы), АРВ с опорой на слог (вычленение слогов, м.б. выделены псевдослоги – ЧОТ, интенсивность, длит-ть). Рез-т служит для работы алгоритма восстановления, кот. позволяет уточнить / адекватно идентифицировать те стр-ры, в отн-и кот-х не б. сделан окончат вывод при акуст анализе.Методы распознавания акуст сигнала

1. основан на акустико-фон инфе сегментного ур-ня (с пом интонографа и спектрографа)

I этап – анализ явл-й коартикуляции (с взаимн влиянием конт-та) на базе лингв закономерностей встречаемостей сочетаемости зв-в и взаимовлияний зв-в (аллофония)

II этап – анализ дифонов (от сер 1-го зв до сер 2-го) конт-но инвариантен и экономичен, осн-н на сопоставл-и со сл-рем эталонов дифонов, но исп-ся для РР, зависимой от диктора. В сл-ре содерж-ся стационарн эл-ты, коротк эл-ты (переходы м/у сосед фонемами СГ-ГС-СС-ГГ), длительн переходы эл-в м/у 3 фонемами (трифонами).2. с основой на визуал инфу (осущ-ся с помощью параметрографа)

Анализ-ся след зн-я:

- частотная составдяющая в 13 частотных диапазонах

- амплитуда тона (Г)

- амплитуда шума (С)

- наличие ударного звука

- наличие вибрирующего звука (+/-)

3. Маркоффские цепи

Комп-ты:

- выделение и анализ разл признаков, кот. обр-ют опр состояния, кажд из кот-х соотв-ет реализации конкр фонемы

- акуст-фон декодирование, где осущ-ся фонет транскрипция отрезка речи

- лекс анализ – сличение слова со сл-рем, не противоречащ полученной фон инфе

- синт анализ – отбир-ся тот вар-т, кот. наилучш образом соотв-ет рез-там грам анализа

18Синтез речи.

Преобразование текста в речь.

2 типа синтезаторов: с огр. и неогр. словарем. В устройствах с огр. словарем речь хранится в виде слов и предл., крые выводятся в опред. посл-ти при синтезе реч. сообщения. Реч. ед., исп-мые в синтезаторах подобного типа, произносятся диктором заранее, а затем преобразуются в цифровую форму, что достигается с помощью различных методов кодирования, позволяющих компрессировать реч. информацию и хранить ее в памяти синтезирующего устр-ва.

СР — построение автом. речевого ответа, порождение звуков машиной, связывание звуков с пом. спец. программ в требуемое высказывание.

Разные подходы к СР.1) модель «чкой головы» с артикул. аппаратом.

2) моделирование акуст. сигнала: а) форм. синтез по правилам, б) компилят. синтез (синх. наложение и добавление осн. тона либо синтез на основе линейного предсказания LP).

Форм. синтез по правилам. Исп-ет возбуждающий фильтр, крый проходит ч/з цифровой фильтр, построенный на неск. резонансах.

Компил. синтез. ОЭ-тся путем склейки нужных ед. компиляции из имеющегося инвентаря. Применяется алгоритм обработки сигнала для сглаживания разрывов в форм. стр-ре на границе сегментов.

Неск. методов записи и компоновки речи.

1. Волновой метод кодирования.

Самый легкий путь - просто записать материал на пленку и по необходимости проигрывать. Однако этот путь синтеза не позволяет реализовать построение новой фразы.

2. Параметрическое представление.

С целью уменьшения требуемой памяти для хран. и обесп. необходимой гибкости было ра-тано неск. сп-бов, крые абстрагируются от реч. волны как таковой, а представляют ее в виде набора параметров. Эти параметры отражают наиболее хар-ную инфо либо во временной, либо в частотной области. Например, реч. волна м. б. сформирована сложением отдельных гармоник заданной высоты и заданными спектр. выступами на данной частоте.

3. Синтез по правилам.

В синтезаторах с неогр. словарем эл-тами речи явл-ся фонемы или слоги, поэтому в них применяется метод синтеза по правилам, а не простая компоновка. Данный метод весьма перспективен, т.к. обеспечивает работу с любым необх. словарем, однако качество речи значительно ниже, чем при исп-нии метода компоновки.

При синтезе речи по правилам также используются волновой и параметр. методы кодирования, но уже на уровне слогов.

Метод параметрического представления требует компромисса между кач-вом речи и возм-тью изменять параметры. Исследователи обнаружили, что для синтеза речи выс. кач-ва необходимо иметь несколько разл. произношений ед. синтеза (например, слога), что ведет к увеличению словаря исх. ед. без каких бы то ни было сведений о контекстной ситуации, оправдывающей          тот или иной выбор. По этой причине процесс синтеза получает еще более абстр. хар-р и переходит от параметр. представления к ра-тке набора правил, по которым вычисляются необх. параметры на основе вводного фон. описания.Это вводное представление содержит само по себе мало инфо: имена фон. сегментов ( напр, гл. и согл.) со знаками ударения, обозначениями тона и временных хар-к. Таким образом, метод синтеза по правилам использует малоинформ. описание на входе ( менее 100 бит/сек). Этот метод дает полную свободу моделирования параметров, но необходимо подчеркнуть, что правила моделирования несовеншенны. Синтезированная речь хуже натуральной, тем не менее, она удовлетворяет тестам по разборчивости и понятности. На уровне предл. и параграфа правила предоставляют необходимую степень свободы для создания плавного речевого потока.

Стр-ра ССР. 1) определение яз. текста. 2) нормализация текста (удаление нечитаемых символов). 3) 5 ур. лингв. анализа. 4) формирование просодич. хар-к, на основе лингв. анализа (границы синтагм, ритм, акценты, ЧОТ…). 5) фонемный транскриптор. 6) формирование текста (компиляция). 7) выдача звук. сигнала.6Системы обработки ЕЯ: клас-ция, применение

Обработка ЕЯ – с англ. термина. Направл. в рамках науч-техн. дисциплины ИИ.

Там, где комп. исп-ся дл обработки ЕЯ. Узкий смысл – ра-тка методов и систем, крые позволят чку рбщаться с ЭВМ на ЕЯ.

С 70-х гг.

1) путь: адаптация яз. программирования к юзеру. Вместо Ассемблера – Виж. бейсик.

2) путь: Ра-тка систем, крые позволяют говорить с компом на ЕЯ или его огранич. вар-те.

В центре иссл-ния – опыт изучения диалога. Необх-ть учитывать все аспекты и ур. реального общения.

Дсп – нет общепринятой т. диалога на ЕЯ.Стр-ра взмдйствия чка и машины.: диалог, инициатор крого или чк, или комп, или оба.

Жесткая стр-ра – перехват инициативы только для уточнения запроса. Мягкая – допуск-ся смена ролей.

Компоненты системы:

1) блок анализа реч. сообщения (морф. анализ словоформ, синт. и сем. анализ предл. от поверх-ноо ур. к глуб. ур. концепт. стр-р)

2) блок интерпретации реч. сообщения

3) блок порождения смысла ответа.

4) блок синтеза пов-ной стр-ры выск-ния. ( из синтеза содержания в виде концепт. представления на метаяз. и оформления содержания в выск-ние)

5) диал. компонент – фиксация стратегий ведения диалога, условие их применений.

Типология СОЕЯ

1. вопросно-ответная. Как реакция на плохое кач-во запросов в ИПС. Ограничения – юзер м. выразиться только одним реч. актом. Проблема: сп-об орг-ции данных: «списочные» яз. (готовая стр-ра для хранения данных) Прим: «бейсбол» - инфо только об играх.

2. диалоговые системы. Задача – получить решение проблемы на основе имеющихся знаний + инфо от юзера. Содержит стр-ры знаний в виде сценариев. Если нек. компоненты сценария отсутствуют, система инициирует комм-цию.

3. системы обработки связных текстов. Шир. исп-ние технологий представления знаний ф-ния системы – в понимании текста и ответах на ? о его содержании. Понимание – не универс. кат, а процесс извлечения инфо из текста, определяемый комп. интенцией. Только то, что в данный момент нужно юзеру.

Области применения.Матем модели семантики произв слов мб использованы в любых с- мах АО ЕЯ. Каж конкр вар-т с-мы необяз-но д содержать в себе ср-ва, спос-ые актуал-ть все возм-е семант реализации слова. В каж конкр случае с-ма м предст-ть собой некую редуцированную модель, ориент-ую на конкр предметную область. Неоднозначность я-ка (омонимия), устран-ся за счет соотв-х технологических мер: сочетание дан слова с др так, чт с/с-е в целом б однозначным.

Прим-е моделей возм-но в разл с-мах обработки т-тов рус я.: диалоговые с-мы; в с-мах авто редактирования, в с-мах авто корректирования д/обнаруж-я ошибок во входных текстах, в ИПС, в АОС, в с-мах маш. перевода, в с-мах анализа звучащей речи (коррекция ошибок, семант анализ вх-х сооб-й.

Сразу же следует сделать одно существенное замечание. Если в традиционном яз-зн «для чел-а» под морфологией сло­ва справедливо понимается то, что относится к его форме - окончания, суффиксы, аффиксы, флексии и пр., деление на корень и другие части словоформы - то в автоматич обработке т-та на ЕЯ морфологич анализ означает про­цедуру, в рез-те кот из формы, внеш оформления слова в т-те м получить сведения о самых разл уровнях яз стр-ры. Понятие «морфологич анализ» в таком смысле роди­лось в машинном переводе. В кач-ве приме­ра рассм-м раннюю работу Р.Пальма о морфологич анализе рус текста при МП на эстонский (Пальм 1962).Морфологический анализ

Морфологический анализ русской фразы, как первый этап МП с рус на эстон яз, состоит из 4 частей:

1) лексич обработка фразы - сюда входит исп-е сло­варя основ путем выделения исходных слов, распр-ие их на статьи (лексемы) по морфологич и семантич прин­ципам (например, сущ на -ние входят в одну ста­тью с формами соотв глагола), выделение основ лексем, мн-во кот и образ-т словарь;

2) идентификация окончания. Морфологич инфа к основе вкл-т тип основы (частицы, сущ, прилаг, глаг), номер табл окончаний, морфологич «сеть» - пе­речисление форм, имеющихся у дан основы, морфологич признаки - дается перечень признаков у разн типов основ. Вво­дится понятие «шкалы слова» - перечня возм-х грам интерпретаций для каждой переводимой словоформы. В рез-те предварит анализа стр-ры фразы пос­ледняя делится на части. Дается классификация предл-й на 6 типов в завис-ти от их места во фразе и встречаемости в них опр типов слов. Особым этапом производится обработка эквивалентных форм, а именно преобразование неоднозначных шкал слов в однозначные = разрешение дизъюнкций инфы, т.е. снятие грам омонимии.Из этого видно, что на самом деле в этап морфологич анализа входит большое количество операций, с пом кот получается инфа, не всегда относящаяся к собственно морфологич-й. Вследствие этого целесообразно утверждать, что в комп лингвистике понятие морфологич анализа явл-ся понятием операционным. В вычис­лит (прикладной) лингвистике важно не «что», а «как» полу­чается та или иная инфа, т.е. из формы слова в тексте.В первые годы работ по МП было предложе­но большое кол-во разнообразного рода алгоритмов автома­тич морфологич анализа для яз самого разнообразного строения, отлич-ся друг от друга «морфоло­гией». На сегодняшний день задача морфологич анализа - наиб сложная процедура на уровне слов - может считаться прак­тически решенной, поскольку есть достаточное кол-во удовлет­ворительно работающих алгоритмов. Авторы монографии «Лингвистич ?? алгоритмической обработки сообще­ний» (Лингвистические вопросы 1983) считают, что за два десятилетия создано по крайней мере несколько десятков алгоритмов мор­фологич анализа для разн яз, в том числе 10-12 для рус.В разработке морфологич анализа выделилось неск нап­р-й. Одно из них моделир-т классич схему анализа путем разделения словоформы на основу и предположит-е окончание с послед проверкой на совместимость окончания с остающейся основой. Другое направление исп-т инфу, содержащуюся в конечных буквосочетаниях. Эта инфа получ-ся в рез-те предварит статистич обработки словаря. Третье напр-ние развив-ся в последние годы. На этом напр-нии создаются уни­версальные математич модели морфологии в форме открытых сис-м уравнений, позв-щих путем вычисления осущ-ть нор­мализацию словоформ, получение грам инфы и син­тез словоформ.В основу построения алгоритмов морфологич анализа поло­жено разбиение всех слов на классы, опр-щие хар-р изм-я буквенного состава форм слова. Эти классы м б назв-ы морфологическими. Изм-я форм слов м носить различн хар-р. Они м б связаны как с изм-ем основы слова, так и с изм-ями его окончания. Изм-ие букв состава основ имеет место, напр, в след парах: сижу - сидишь, шел — шли, тренировка - тренировок, нес - несли, кто — кого, судно - суда, человек-люди. Изм-е окончаний явл-ся ос­н способом образ-я различн форм слов. В рус яз, напр, оно исп-ся как самостоятельно, так и в сочетании с изм-ем основ слов.Морфологич классы слов делятся на два вида:1) основоизменительные классы, характеризующие систему измене­ния основ, 2) флективные классы слов. Они выделялись для рус яз в сис-ме МП АМПАР, напр, на основе анализа их синтаксич f-ций и сис-м падежных, личных и родовых окончаний. Классы неизменяемых слов выделялись только по синтаксич принципу. По своей синтаксич f-ции из­меняемые слова объединены в следующие группы: 1) сущ, 2) прилаг, 3) глаг в личн форме, 4) глаг пр вр, кр прилаг и прич, 5) количе­ственные числит. Флективный класс м б охаракт-н либо нек сис-мой признаков, либо словом-представителем, кот явл-ся носителем этих признаков. Признаками, по кот изменяемое слово м б отнесено к опр классу, явл-ся: 1) принадлежность к одной из синтакси­ч групп (или подгрупп), 2) сис-ма окончаний (тип словоизменения).Виды морфологического анализа

• морф анализ со словарем основ;

• морф анализ со словарем словоформ;

• морф анализ м-дом логич умножения;

• морф анализ без словаря, с пом табл.

Наиб распр видом автоматич морф анализа явл-ся анализ со словарем основ, исп-мый для большинства европ языков. В этом виде анализа исп-ся словарь основ слов и ряд вспомогательных табл. В словарь вкл-ны основы прост и сложн слов без внутр флексии. Если слово имеет неск форм основ, то в словарь, как правило, вкл-ны все формы основ слов. Каждой основе словаря ставится в соотв-ие со­четание кода основоизменит класса и кода флективного класса, а омонимичной основе - серия сочетаний таких кодов. Так устроен сло­варь в системе, описываемой Г.Г. Белоноговым.

Морф анализ слова нач-ся с его флективного анализа. Последний производится с целью правильного выделения еro основы, замены букв состава основы ее порядковым номером по словарю и опр-я грам инф-ции слова.

Алгоритм морфологич анализа состоит из 32 блоков и учитывает все шаги морфологич анализа с пом словаря основ, возможные варианты анализа при отклонении процесса от однозначных правил, переход к следующим ступеням анализа.Морфологический анализ со словарем словоформ также довольно распространен. Из общих соображений он применяется тогда, когда морфология дан яз достаточно бедна. Кроме того, на пер­вый взгляд предст-ся, что алгоритм анализа со словарем слово­форм проще, чем алгоритм работы со словарем основ: не надо осущ-ть членение входной словоформы на морфемы с после­довательным поиском по словарю и пр. Но на самом деле при анализе со словарем словоформ остаются след проблемы: анализ не найденных в словаре слов. Опр-е нек ин­фы для слова, не обнаруженного в словаре, явл-ся необх-м для послед анализа: напр, если мы не нашли дан слова, то по крайней мере д опр-ть его ч. р., чтобы не искл-ть возм-ти дальнейшего грам (синтаксич) анализа; отождествление разн словоформ одного и того же слова. Если каждая словоформа будет выступать как самост лексич ед-ца, то это существенно зат­руднит весь послед анализ и синтез. Словоформы одного сло­ва д б обозначены как таковые. Это означает, что сис-ма морф анализа со словарем словоформ д иметь список аффиксов, корней (основ) слов и др необх-е атри­буты для идентификации разн словоформ одной и той же лекси­ч единицы.Эти требования фактич-и сводят на нет преимущества анализа со словарем словоформ и поэтому анализ со словарем основ применяется значительно чаще.

Особое положение занимает сп-б автоматич морф анализа м-дом логич умножения. С.Я. Фитиаловым положены начала формал морфологии (Фитиалов 1961). F-ция, определенная на словоформах и сопоставляющая каждой словоформе нек инфу, наз-ся словар­ной f-цией. Всегда имеется возм-ть задать значения сло­варной f-ции в виде табл - словаря словоформ. Однако сущ-т более экономичные сп-бы задания этой f-ции. Так, ее можно представить в виде след последоват-ти 4 операций:

1) словоформа как цепочка букв членится на морфемные сегменты;

2) словоформа как цепочка морфемных сегментов заменяется не­упорядоченным мн-вом нов эл-тов - морфем;

3) словоформе как мн-ву морфем приписывается нек инфа;

4) эта инфа преобраз-ся в требуемую окончательную ин­фу о словоформе.

Каждой морфеме м сопоставить инфу, получаемую в рез-те объединения инфы о словоформах, в кот вхо­дит дан морфема. Такого рода объединение инфы соотв-т дизъюнкции в логич интерпретации. Инфа о словоформе получается как пересечение, или логич конъюнкция, инфа о морфемах, входящих в дан словоформу. Тем самым f-ция, опр-ная на морфемах-множествах, заменяется f-ци­ей, определенной на морфемах-элементах.

Морф анализ м-дом логич умножения при­меняется к флективным языкам и предусм-т наличие словаря основ. Сущность м-да и применение его к конкр яз м видеть на примере алгоритма анализа рус словоформ, предложенного венгерским специалистом Д. Варгой (Варга 1964). Сначала производится поиск слова в словаре основ. Если слова, имеющие окончания, не находятся в словаре, тогда от каждого та­кого слова отбрасывается по одной букве справа и поиск повторя­ется. При отриц ответе отбрасывается след буква и т.д. Отброшенные буквы образ-т окончание и фиксир-ся. Каж­дая отброшенная буква считается элементарной ед-цей морф анализа. Ей приписывается булевый вектор – совокуп-ть нулей и единиц, компонентов этого вектора. Число компонентов этого вектора равно числу грам категорий, кот м б выражены окончанием, частью кот явл-ся дан буква. Поскольку предварительно был произведен по­иск по словарю основ и установлена часть речи анализируемого слова, имеется возм-сть одинаковым буквам, входящим в окон­чания разных ч. р. (напр, буква -м в окончании суще­ствительного и прилагательного) приписывать разн векторы.

Пусть, напр, треб-ся опр-ть, в каком числе и падеже стоит сущ «столом». После поиска в словаре устанав­-ся, что основа стол - сущ, буквы, входящие в состав окончания, о и м. Буква м встречается среди букв окончаний сущ в Тв. п. ед. ч. м. и ср. р., а также в Д. п. и Тв. п. мн. ч. всех 3 родов. Приписываем букве м такой булевый вектор, в кот на месте компонентов, соотв-щих падежам, в кот-х она встречается, стоят ед-цы, а на месте др компонентов -нули. Таким же образом поступаем и с др буквой окончания. Произведя логич умножение векторов букв о и м, получим в результирующем векторе ед-цу на месте разряда той грам категории, в окончании кот встречается одновременно и буква о, и буква м, а именно в разряде, соответствующем Тв. п. ед. ч.Морф анализ без словаря, или так называемый «не­зависимый» анализ, производится без обращения к словарю, толь­ко за счет исп-я таблиц аффиксов и особого списка не имеющих грам значения слов. Такой сп-б исп-ся достаточно редко.Современное состояние морфологического анализахарактеризуется тем, что сильно уве­личились требования к качеств показателям сис-м автома­тич переработки т-та. Теперь задача создания быстродействующего алгоритма морф анализа ставит­ся след образом:

• основу сис-мы д сост-ть мощный политематич сло­варь, обеспечивающий покрытие т-тов по любой тематике не менее чем на 98-99%;

• алгоритм анализа д б словоизменительным, что позволит при одном и том же объеме распознавать примерно в 8 раз больше словоформ (для рус яз), чем кол-во лексич еди­ниц в словаре;

• «новые» слова д обрабат-ся наряду со словами, содержа­щимися в словаре. При этом объем инфы для новых слов д б таким же, как и для словарных единиц, а вероятность их правильного определения не менее 90-95 %;

• скорость обработки т-тов д б, при прочих равных усл-ях, по крайней мере на порядок выше, чем у существующих про­цедур;

• на объем исходного т-та не должно накладываться никаких огра­ничений;

• сис-ма д сохр-ть свою работоспособность в усл-х де­фицита ресурсов ЭВМ;

• сис-ма д б обучаемой, т.е. д иметь ср-ва для пополнения имеющихся словарей и настройки их на различн предметные обл-ти;

• процедурная часть сис-мы д достаточно легко приспосабливаться к меняющимся ресурсам ЭВМ с целью их наиб оптимального исп-я, а также иметь возм-ть работы с различными входными и выходными формата­ми;

• следует иметь синтаксич ср-ва контроля и корректиров­ки грам инфы к «новым словам» с учетом микроконтекста;

• д б разработаны спец инфо стр-­ры для представления данных и м-ды доступа к ним более эф­фективные, чем стр-ры и м-ды, входящие в состав операционных сис-м ЭВМ.

Массивы т.о. подобранных данных имеют по состо­янию на сегодняшний день след измерения: политематич словарь словоизменительных основ слов содержит более 100 000 лексич ед-ц и обеспечивает оч высокое покрытие науч­но-технич лексики практич-ки любой тематики. Этот словарь был создан в рез-те обработки т-тов обьемом свыше 30 млн слов. Словарь словоформ, составленный по т-там, вкл-т 46 тыс. лексич ед-ц, он составлен по т-там объемом более 3 млн слов. Два этих словаря имеют тщательно выверенные наборы грам инфы, дающие детальное предст-е о морфологич стр-ре слов и их синтаксич св-вах (Зеленков 1988).

Эл-ты морф анализа довольно сильно выражены даже в яз с грам строем, существенно отличающимися от строя европ яз-в. МП с китайского яз, напр, предусм-т процедуру анализа односложных и двуслож­ных кит. слов на ур-не, близком к ур-ню морфем (Зелко 1991).Автоматич морф анализ вызвал к жизни спец тип словарей. Лексич ед-цы яз упорядочиваются в соотв-вии с формой и правилами порождения и образ-я слово­форм, по словоизменительным и словообразовательным классам. Од­ним из видов словарей такого типа, т.е. специально учитывающих требования морф анализа, явл-ся обратные словари, применение кот началось от спец требований лингвисти­ч дешифровки и кот в наст время широко прим-ся в МП для опр-я грам хар-к не найденных в словаре слов, при анализе словоформ флективных язы­ков. (Штиндлова 1966, Белоногов 1971, Козьмина 1988 и пр.)Особенностью обратных словарей явл-ся предст-ие слов словника: сначала идут слова, оканчивающиеся на первую букву алфавита, затем на вторую и т.д. При совпадении послед букв учит-ся предпослед буквы, далее - третьи от конца и т.д. Т.о. слова расположены в алфавитном порядке, начиная от конца слова. При этом, естественно, объединяются слова, относя­щиеся к единому словобразовательному или словоизменительному типу, сложн слова с одинаковой последней составляющей.

Обратные словари м решать достаточно широкий круг задач. Они наглядно предст-т морфологич характ-ки дан яз. Если грам описания часто содержат утверждения о том, что слова с такими-то окончаниями обладают опр св-вом, то обратный словарь, в кот содержатся списки оди­наково оканчивающихся слов, позв-т установить все слова, ко­т обладают тем или иным св-вом, а также те, кот этим св-вом не обладают. На основе обратного словаря м б получены списки слов, относящиеся к одному словоизменительно­му типу. М также выявить все слова, имеющие одинак стро­ение концов, но разн грам характ-ки, и получить данные о соотношении между окончанием слова и его принадлеж­ностью к опр словоизменительному типу. Возникает воз­м-ть опр-ть синонимию и омонимию формантов, их сочетаемость, количеств хар-тики отд форман­тов и их сис-мы.Морф анализ в своем удельном весе в сис-ме автоматич обработки т-тов существенно зависит от типа анализируемого яз. Ясно, что флективные яз несут больше инфы в морфологич формантах, чем яз аналити­ч типа, выр-щие синтаксич отн-я главным образом с пом порядка слов.

Попытки классифицировать яз по их отн-ю к нек единому общему алгоритму морфологич анализа оказались не плодотворными, поскольку такой алгоритм обладал бы нулевой универсальностью. Сис-ма морфологич призна­ков (декларативные знания) тесно связана с сис-мой знаний процедур­ных - самим алгоритмом.

19Перевод как прикладная лингвистическая дисциплина.

Виды пер-да (синхрон-й, послед-ный, 1осторон-й, 2сторон-й, буквальный, филол-й, реферативный, с-мы прямого пер-да, ч/з яз-посредник), типология и области исп-ния с-м машин-го пер-да, действующие с-мы машин-го пер-да.Термин перевод многозначен: с 1й стороны, он обозн-т де­ят-ть, заключ-ся в передаче содерж-я т-та (в шир понимании) на одном яз ср-ми др-го яз, а с другой — сами рез-ты этой деят-ти. Наука о пер-де включ не­ск-ко напр-ний, среди кот-х выд-тся теория пер-да, анализ пер-да, методика обучения пер-ду. Особое место занимает машинный пер-д — научная и одновременно технол-кая дисц-на, связ-я и с наукой о пер-де и с комп-й лингв-кой. Пер-д междисциплинарен, т.к. связан не т-ко с лингв-кой, но и с ли­тературовед-м, когнит-ми науками и культ-й антропологией Междисципл-ть теории пер-да и ее практ-ких при­ложений указ-т на то, что пер-д явл-ся не чисто яз-м, а довольно сложным когнит-м феноменом. Переводя с 1го яз на др, ч-к исп-т как свои яз-е знания и спос-ти, так и самые разн экстралинг-кие знания (о физ-кой природе мира, об общ-ве и его культуре, о ситуациях, в кот-х был порожден переводимый т-т и будет восприн-ся его пер-д и т. д.), причем этапы понимания и синтеза т-та принц-но различ-ся.. Виды перевода.По хар-ру перев-кой деят-ти традиц-но выд-­ся устный и письменныйпер-д. В рамках устного пер-да выдел-ся синхронный и послед-ныйпер-д. При синхр пер-де звуча­щий т-т перев-ся практ-ки одновр-но с его произнесением (maxно допустимое запаздывание-10 сек). При после­д-ном пер-де перев-к прослуш-т довольно значит-й фрагмент т-та - до 15 мин - фиксирует его в той или иной форме и пер-дит на соотв-щий яз.+ пер-д разд-ют на 1сторонний (унилатеральный) и 2сторонний (билатеральный).1сторонний пер-д осущ-ся т-ко с яз-источника (l₁) на язык-цель (L₂), в отличие от 2стор-го, предпол-го пер-д с L₁ на L₂ и наоборот. Обычно 2сторонний пер-д явл-ся послед-ным (переговоры).

Все рассм-мые типы пер-да выдел-ся на основе формально-организац-х хар-тиккоммун-и - устная vs. письм-ая ком-ция, быстрота пер-да (синхронность vs. послед-ть), направление пер-да (т-ко с L₁ на L₂ или + наоборот). Содержат-я сторона пер-да вкл-т мн-во др-х параметров, по кот-м м-т проводится класс-ция. Так, по цели выдел-ся и др типы пер-да: (а) «по­словный» пер-д, в рез-те кот-го создается подстрочник,(б) бук­вальныйпер-д (в англ традиции - grammar transla­tion), (в) филологическийпер-д (документальным), и (г) адаптивный(и как частный случай реферативный)пер-д.

В подстрочникет-т – послед-ть слов, " из кот-х имеет самост-ю ценность. =>Слова в пер-де сохр-ся в той же послед-ти и в тех же формах, что и в ориг-ле. То, что на выходе получ-ся некорректные, часто совер-но непонятные выск-ния, не расм-ся как недостаток. Такой пер-д широко исп-ся как инструмент лингв-го описания и пер-да поэзии. Буквальныйпер-д предл-т рассм-ть т-т не как послед-ть отд-х слов, а как послед-ть предл-й. Обеспечение связности т-та, сохр-ние его воздейс-щего эффекта не входит в задачи буквального пер-да. Этот тип пер-да исп-ся в 1ю оч-дь как инструмент овладения ино­стр-м яз-м (на опред-м этапе изуч-я яз от учащегося треб-ся умение порождать грам-ки корректные и содерж-но адекв-е предл-я - упражнений на буквальный пер-д). Цель филол-когопер-да в том, чтобы maxно «приблизить читателя к автору». Много чуждых реалий, непривыч-х образов и даже с опред-ми нарушени­ями узуальных конвенций яз-цели рассм-ся как достоинство, т.к. утв-ся, что выс­шим критерием кач-ва пер-да явл-ся верность автор-му стилю и сохр-е худож-ных особ-тей ориг-ла (сфера применения филол-го пер-да –иск-но худ. т-ты, в особ-ти ли­т-ные памятники) (ex, передача патронимов). Адаптивныйпер-д предпол-т приспособле­ние текста-рез-та к потреб-стям польз-ля. Чаще всего он связан с сокр-нием т-та ориг-ла, извлечением из него важнейшей инфо, т.е. созд-м реферата (др название этого типа пер-да — реферативный),аннотации на др яз. В последнее t этот тип пер-да получает все >ее распр-­ние, что связано с повыш-м удельного веса де­ловых, научных, техн-х и т.п. пер-дов.

Отдельные типы перевода могут выступать как в чистом виде, так и в комбинации.