Представление жестового языка в программе SLEd
Воскресенский Александр Леонидович
Иванова Марина Вячеславовна
Учебно-воспитательный комплекс № 1838 для глухих детей
sch1838.edu@mtu-net.ru
1 Описание задачи
Одним из способов общения глухих является язык жестов. Также как естественные языки имеют свои национальные виды — английский, французский, русский и пр. языки, так и языки жестов разделяются на национальные виды.
Однако, если естественный национальный язык в целом един (литературная и разговорные формы языка имеют в принципе общую грамматику и отличаются, в основном, словарным запасом), то глухие в общении используют два жестовых языка, имеющих разную грамматику и разный набор жестов [1]:
- разговорный жестовый язык, используемый в повседневном общении и имеющий собственную грамматику, весьма отличную от естественного разговорного языка;
- калькирующую жестовую речь, которая используется в официальной и деловой обстановке и которая включает в себя как знаки разговорного жестового языка, так и знаки дактилологической азбуки, служащие для побуквенного воспроизведения слов (или их окончаний), для которых нет знаков разговорного жестового языка. Калькирующая жестовая речь не имеет собственной грамматики, она подчиняется грамматическим правилам национального языка говорящего.
Процесс обучения глухих детей, используемый в нашей стране, основан на том, что детей, не слышащих от рождения и, соответственно, не умеющих говорить, учат воспринимать речь окружающих людей по мимике (и используя остаточный слух) и говорить, пытаясь как можно точнее воспроизводить звуки речи. Как правило, при этом достигаются хорошие результаты, и, например, выпускники нашей школы вполне могут общаться с окружающими (как глухими, так и слышащими). Они способны продолжать обучение и некоторые из них впоследствии поступают в Технический Университет им. Баумана, где есть специальное отделение для глухих, специализирующееся на информационных технологиях.
В процессе обучения в школе использование жестового языка по возможности ограничивается, чтобы стимулировать использование учащимися естественного языка (разговорного и письменного).
Однако, в процессе контактов с учащимися из Великобритании мы столкнулись с тем, что там использованию жестового языка придается большее значение, в связи с чем в программу обучения английскому языку был включен краткий курс изучения американского (ASL), являющегося в значительной степени международным, ибританского (BSL) жестового языка.
Представляемая обучающая программа SLEd служит для поддержки упомянутого курса и содержит сравнительно небольшой набор жестов русского и американского жестовых языков, ограниченный тематикой и фразеологией школьной программы изучения английского языка. Программа функционирует в среде Windows 95/98 и не требует больших аппаратных ресурсов.
Представляемая прикладная программа может считаться прототипом для разрабатываемого нами программного комплекса для перевода с естественного языка (в качестве базового используется текст на русском языке) на разговорный язык жестов, а также для перевода с одного жестового языка на другой [2].
2 Используемый подход
Решение проблемы машинного перевода с естественного языка на язык жестов затруднено тем, что, во-первых, как указывалось выше, разговорный язык жестов имеет отличную от естественного разговорного языка грамматику, во-вторых, жесты во многих случаях не совпадают со словами, а сопоставляются с набором слов, выражающих некоторое понятие. Это приводит к тому, что на входе системы перевода появляется большое число синонимичных значений (передаваемых одним и тем же жестом или совокупностью жестов), некоторые из которых в естественном языке синонимами с грамматической точки зрения не являются, хотя и отображают в разговорной речи в принципе одни и те же значения (ср. «лампа висит под потолком» и «лампа прикреплена к потолку», или «стул стоял у торшера» и «торшер нависал над стулом»).Таким образом, в процессе перевода фраз на язык жестов мы сталкиваемся с той же проблемой, что и, например, при анализе текстов юридических документов — большим разнообразием лексических средств и форм для выражения одной и той же сущности [3]. Представляется, что решение этой проблемы может быть решено средствами, подобными используемым в системе, описанной в [3].
В процессе перевода фразы естественного языка на разговорный язык жестов мы должны вписать жесты, составляющие данную фразу, в грамматические конструкции языка жестов. Эти грамматические конструкции представляют собой:
- a) пространственное расположение — при указании взаимного расположения предметов одной рукой выполняется жест, обозначающий один предмет, другой рукой — другой предмет, при этом расположение рук соответствует расположению предметов (например, выше или ниже);
- b) временное соответствие — чтобы указать, что какое-то событие произошло ранее (давно), делается специальный жест — говорящий указывает назад (за спину);
- c) причинно-следственная зависимость — для указания, что одно событие повлекло за собой другое, между жестами (или группами жестов), описывающими эти события, выполняется специальный жест, названный в [1] «связь», имеющий три основные формы:
- статичную, когда жест выполняется говорящим перед собой;
- указывающую, что причина представлена первой группой жестов — жест «связь» выполняется слева от говорящего и соединенные руки резко продвигаются вправо;
- указывающую, что причина представлена второй группой жестов — жест «связь» выполняется справа от говорящего и соединенные руки резко продвигаются влево.
Для представления указанных грамматических конструкций экран делится по вертикали и горизонтали на отдельные фреймы, составляющие таблицу размером 3 х 3. В зависимости от способа выполнения жеста его изображение выводится в соответствующей части экрана.
Представленные в литературе наборы жестов обычно весьма ограничены и являются, как правило, специфичными для той группы глухих, с которыми общался автор того или иного словаря. Другими словами, отсутствует нормализованный общепризнанный набор жестов (по крайней мере, в русском языке, хотя есть сообщения, что это применимо и к другим жестовым языкам).
Поскольку система перевода должна опираться на достаточно большой словарь, в настоящее время ведется работа по пополнению словаря жестов, при наличии для того или иного понятия нескольких обозначающих его жестов, отличающихся своим исполнением, в словарь заносятся все известные модификации.
Анимированный словарь русского жестового языка (являющийся вспомогательной подсистемой разрабатываемой системы перевода текста на язык жестов) предназначен для использования в сети Интернет, при этом в нем предусмотрены интерактивные средства для указания удаленным пользователем наиболее правильной на его взгляд модификации жеста. Мнения различных пользователей суммируются с целью определения наиболее популярной модификации. Этим данный словарь отличается от известных авторам и, по их мнению, может служить основой для создания нормализованных версий жестового языка.
Планируется, что данный словарь будет размещен в сети Интернет как один из разделов веб-страницы Учебно-воспитательного комплекса № 1838, располагающейся по адресу http://schools.keldysh.ru/uvk1838/.
Литература
Зайцева Г.Л. Дактилология. Жестовая речь.— М.: Просвещение, 1991.
Воскресенский А.Л., Иванова М.В. Методико-дидактический комплекс «Язык жестов». — см. в: Диалог’99: Компьютерная лингвистика и ее приложения, т. 1. — Таруса, 1999.
Семенова-Флюр В. Лингвистические технологии в применении к текстам российского законодательства. — см. в: Диалог’99: Компьютерная лингвистика и ее приложения, т. 2. — Таруса, 1999.