Компьютерная лингвистика

Компью́терная лингви́стика (также: математи́ческая или вычисли́тельная лингви́стика, англ. computational linguistics) — научное направление в области математического и компьютерного моделирования интеллектуальных процессов у человека и животных при создании систем искусственного интеллекта, которое ставит своей целью использование математических моделей для описания естественных языков.

Компьютерная лингвистика частично пересекается с обработкой естественных языков. Однако в последней акцент делается не на абстрактные модели, а на прикладные методы описания и обработки языка для компьютерных систем.

Полем деятельности компьютерных лингвистов является разработка алгоритмов и прикладных программ для обработки языковой информации.

Истоки

Математическая лингвистика является ветвью науки искусственного интеллекта. Её история началась в Соединённых Штатах Америки в 1950-х годах. С изобретением транзистора и появлением нового поколения компьютеров, а также первых языков программирования, начались эксперименты с машинным переводом, особенно русских научных журналов. В 1960-х годах подобные исследования проводились и в СССР (например, статья о переводе с русского на армянский в сб. «Проблемы кибернетики» за 1964 год). Однако качество машинного перевода до сих пор сильно уступает качеству перевода, произведённого человеком. В 2021 году качество машинного перевода переводчика Гугл уже не столь сильно уступало качеству перевода, сделанного человеком^{[источник не указан 1102 дня]}.

С 15 по 21 мая 1958 года в МГПИИЯ состоялась первая Всесоюзная конференция по машинному переводу. Оргкомитет возглавляли В. Ю. Розенцвейг и ответственный секретарь Оргкомитета Г. В. Чернов. Полностью программа конференции опубликована в сборнике «Машинный перевод и прикладная лингвистика», вып. 1, 1959 г. (он же «Бюллетень Объединения по машинному переводу № 8»). Как вспоминает В. Ю. Розенцвейг, опубликованный сборник тезисов конференции попал в США и произвёл там большое впечатление.

В апреле 1959 года в Ленинграде состоялось I Всесоюзное совещание по математической лингвистике, созванное Ленинградским университетом и комитетом прикладной лингвистики. Главным организатором Совещания был Н. Д. Андреев. В Совещании приняли участие ряд видных математиков, в частности, С. Л. Соболев, Л. В. Канторович (впоследствии — Нобелевский лауреат) и А. А. Марков (последние двое выступали в прениях). В. Ю. Розенцвейг выступил в день открытия Совещания с программным докладом «Общая лингвистическая теория перевода и математическая лингвистика».

Направления компьютерной лингвистики

Обработка естественного языка (англ. natural language processing). Уровни обработки и анализа текста: синтаксический, морфологический, семантический.

К задачам и направлениям компьютерной лингвистики относят:

Корпусную лингвистику, создание и использование электронных корпусов текстов.
Создание электронных словарей, тезаурусов, онтологий. Например, Lingvo. Словари используют, например, для автоматического перевода, проверки орфографии.
Автоматический перевод текстов. Среди русских переводчиков популярным является Промт. Среди бесплатных известен переводчик Google Translate.
Автоматическое извлечение фактов из текста (извлечение информации) (англ. fact extraction, text mining)
Автореферирование (англ. automatic text summarization). Эта функция включена, например, в Microsoft Word.
Построение систем управления знаниями. См. Экспертные системы.
Создание вопросно-ответных систем (англ. question answering systems).

Оптическое распознавание символов (англ. OCR). Например, с помощью программы FineReader
Автоматическое распознавание речи (англ. ASR).
Автоматический синтез речи.

Крупные ассоциации и конференции

Ассоциация по компьютерной лингвистике (ACL): подразделяется на две ветви: Европейскую и Североамериканскую^[1].
Международная конференция по компьютерной лингвистике «Диалог»^[2].
Международная конференция по компьютерной лингвистике и интеллектуальной обработке текста^[англ.] (CICLing).

См. также

Примечания

↑ ACL (англ.). Дата обращения: 15 сентября 2010. Архивировано из оригинала 4 сентября 2010 года.
↑ Диалог 2020 / Конференция по компьютерной лингвистике (рус.). www.dialog-21.ru. Дата обращения: 26 октября 2024. Архивировано 26 декабря 2019 года.

Ссылки

Компьютерная лингвистика : [арх. 3 января 2023] / А. Н. Баранов // Большая российская энциклопедия : [в 35 т.] / гл. ред. Ю. С. Осипов. — М. : Большая российская энциклопедия, 2004—2017.
Математическая лингвистика : [арх. 3 января 2023] / А. В. Гладкий // Большая российская энциклопедия : [в 35 т.] / гл. ред. Ю. С. Осипов. — М. : Большая российская энциклопедия, 2004—2017.
«Компьютерная лингвистика»
История развития методов компьютерной лингвистики с точки зрения задач машинного перевода и автоматизированного понимания текстов (реферат)
NLPub — база знаний по лингвистическим ресурсам для русского языка
АОТ — открытые исходники некоторых утилит компьютерной лингвистики
ITFRU — онлайн доступ к программам компьютерной лингвистики

[1] ACL (англ.). Дата обращения: 15 сентября 2010. Архивировано из оригинала 4 сентября 2010 года.

[2] Диалог 2020 / Конференция по компьютерной лингвистике (рус.). www.dialog-21.ru. Дата обращения: 26 октября 2024. Архивировано 26 декабря 2019 года.

[1]

[2]