Появилась необходимость в предельно сжатые сроки выкурить книжку по обработке естественного языка. Сама по себе книга представляет учебник для лигвистов не знакомых с программированием. Начинается с простеньких подсчетов частоты слов в тексте, введения в программирование на питоне (основной инструмент - nltk написан на питоне), обзора различных алгоритмов и инструментов для анализа текста. К середине книги питон заканчивается, как освоенный, и начинается хардкор и матан: выделение синтаксической иерархии предложений, построение парсеров, извлечение смысла из предложений, использование матлогики для построения доменной модели из извлеченного смысла, применение модели для поиска ответа на вопросы по тексту. Заканчивается всё экскурсом в философию.Книга оказалась весьма интересна как введение в методы анализа естественного текста, не смотря на то, что большинство примеров были даны на предельно упрощенном уровне - естественный язык несравнимо богаче. Однажды приходилось использовать LL Top-Down транслятор, в книге же был дан обзор по основным алгоритмам парсинга текста. На защите один из одногруппников начинал работу над анализом текстов, и закончилось всё простым подсчетом статистики слов (глава 0 в книге) - интересно, смог бы он адаптировать инструменты для русского языка и подготовить парочку корпусов? Уровень полезности результата вырос бы многократно.
Linguists are sometimes asked how many languages they speak, and have to explain that this field actually concerns the study of abstract structures that are shared by languages, a study which is more profound and elusive than learning to speak as many languages as possible. Similarly, computer scientists are sometimes asked how many programming languages they know, and have to explain that computer science actually concerns the study of data structures and algorithms that can be implemented in any programming language, a study which is more profound and elusive than striving for fluency in as many programming languages as possible.
