Light-industry-up.ru

Экосистема промышленности

Чтение по губам

12-10-2023

Перейти к: навигация, поиск
Обучение глухих детей говорить и читать по губам

Чтение по губам, также чтение с губ — понимание речи наблюдением артикуляции говорящего.

Развитие

При чтении с губ активируется не только зрительная кора мозга, но и слуховая[en], что происходит и при распознавании слышимой речи[1].

Даже новорождённые дети пытаются имитировать движения губами и языком, увиденные у взрослых[2]. Младенцы дольше смотрят на источник визуального стимула, если ему соответствует одновременно происходящий аудиальный стимул (в отличие от, например, записи звука)[3]. Дети в 4—8 месяцев обращают особое внимание на движения губ говорящих как на родном для себя языке, так и на других языках. После 12 месяцев они перестают следить за губами говорящих на родном языке[4]. Во взрослом возрасте глухие читают по губам лучше слышащих из-за постоянной практики, разница начинает быть заметной с 14 лет[5]. Среди глухих данный навык лучше развит у тех, кто терял слух постепенно, а не внезапно[6].

В основном чтение по губам используется глухими и слабослышащими. При этом у слабослышащих оно более успешно, если при этом речь слышна хотя бы частично[7]. Для упрощения чтения по губам может использоваться вспомогательная жестовая система, к примеру, маноральная речь. Существуют также автоматизированные средства чтения с губ[8]. Успешность чтения по губам зависит от способности к образному мышлению и аналитическому восприятию, а также зрительной памяти[9].

Различение звуков

Читать по губам сложнее, чем слышать[10]. В случае с русским языком, читая по губам, видны только гласные и артикулируемые губами согласные; звонкость-глухота, мягкость-твёрдость, йотирование[en] и его отсутствие, а также ударение зрительно либо почти не видны, либо не видны совсем. Наиболее просто определить гласные пары [i]?~[ɨ]?, [a]?~[e]?, [o]?~[u]?. Немного труднее для определения губно-губные согласные [p]?~[pʲ]?~[b]?~[bʲ]?~[m]?~[mʲ]? и губно-зубные согласные [f]?~[fʲ]?~[v]?~[vʲ]?. Довольно информативны звуки [ʂ]?~[ɕː]?~[ʐ]?~[ʑː]?~[ʨ]?. Если кончик языка говорящего хорошо виден при произношении [l]? и [lʲ]?, то эти звуки также относятся к легко идентифицируемым. Звуки [t]?~[tʲ]?~[d]?~[dʲ]?~[n]?~[nʲ]? слабоопознаваемы, остальные стабильно неопознаваемы ([s]?~[sʲ]?~[z]?~[zʲ]?~[j]?~[ʦ]?) или совершенно невидимы ([k]?~[kʲ]?~[g]?~[gʲ]?~[x]?~[xʲ]?)[11].

Примечания

Литература

  • M. Aharon and R. Kimmel. (2006) Representation analysis and synthesis of lip images using dimensionality reduction, International Journal of Computer Vision, 67(3):297-312.
  • Потапова Р., Потапов В. Язык, речь, личность. — Языки славянской культуры, 2006. — 496 с. — ISBN 5-9551-0123-3.
  • David J. Lewkowicz, Amy M. Hansen-Tift Infants deploy selective attention to the mouth of a talking face when learning speech (англ.) // Psychological and Cognitive Sciences. — 2012. — № 109. — С. 1431—1436. — DOI:10.1073/pnas.1114783109
  • Mairéad MacSweeney. Read my lips - Advances in speechreading research with deaf children. ESRC Deafness Cognition and Language Research Centre (11 мая 2013).
  • Calvert, Gemma A. (1997-04-25). «Activation of Auditory Cortex During Silent Lipreading». Science 276 (5312): 593–596. DOI:10.1126/science.276.5312.593. Проверено 23 September 2013.
  • Audiovisual Speech Perception in Adult Cochlear Implant Users: Effects of Sudden vs. Progressive Hearing Loss. Daytona Beach, Florida: MidWinter Meeting of the Association for Research in Otolaryngology (2003).
  • (June 1983) «Newborn infants imitate adult facial gestures». Child Development 54 (3): 702–709.
  • Spelke, Elizabeth (October 1976). «Infants' intermodal perception of events». Cognitive Psychology 8 (4): 553–560. DOI:10.1016/0010-0285(76)90018-9.
  • Ewing I.R. Lipreading and Hearing Aids. — Manchester University Press, 1944.
  • Rosen S., Fourchin A., Moore B. Voice pitch as an aid to lipreading (англ.) // Nature. — 1981. — № 291. — С. 150—152. — DOI:10.1038/291150a0
  • Petajan, Eric David Automatic Lipreading to Enhance Speech Recognition (Speech Reading) (англ.) // University of Illinois at Urbana-Champaign. — 1984.

Ссылки

  • CSAIL: Articulatory Feature Based Visual Speech Recognition
  • видео МРТ говорящей женщины, на котором видны нефиксируемые при чтении с губ движения языка

Чтение по губам.

© 2014–2023 light-industry-up.ru, Россия, Краснодар, ул. Листопадная 53, +7 (861) 501-67-06