База синонимов слов

26 Ноя 2007

В наш век Web 2.0 и прочих радостей программы должны быть максимально умными и понимать человека с полуслова, причём даже если это не совсем то слово. На этот счёт в голову приходит мысль о том, что если программа получает от пользователя какие-либо данные в виде слов (строка поиска, теги, команды, ещё что-то), то лучше всего будет не просто использовать полученный текст, а проверить его на ошибки, морфологию и синонимы.

С морфологическим анализатором мы ещё разбираемся (есть у Drupal и есть у Яндекса, оба своеобразны). А вот с синонимами всё сложнее – до сих пор не существует хотя бы более-менее применимого алгоритма и базы синонимов. Результат работы любого современного синонимайзера – полный бред с точки зрения человека. Видимо, не сошлись ещё дороги программистов и лингвистов. Но если тексты обрабатывать не нужно, а только, например, строку поискового запроса, то базы найти можно.

Вот, например, результат парсинга словаря русских синонимов и сходных по смыслу выражений Н. Абрамова (18151 слово и 68729 синонимов) и ещё одна (отличающаяся) база синонимов, чей источник мне к сожалению не известен (5371 слово и 20296 синонимов).

Формат файлов – текстовый, по одному слову на строчку в алфавитном порядке, далее через спецсимвол идут синонимы.

Словарь русских синонимов и сходных по смыслу выражений. Н. Абрамов. База синонимов русского языка

Жилинский Владимир.






 

[email protected]     .

Написано 26 ноября 2007 года в 14:16


Я не очень понял зачем всё это нужно… для более гибкого выполнения поисковых запросов?, т.е. вывалить пользователю на запрос “водка” не только ссылки на пиво и воблу.. но ещё и на печенье (“… а потом я отравился печеньем”)…

нет я конечно скачал словари :) – вот теперь сижу думаю нафига :)

 

Евгений Киселев     .

Написано 26 ноября 2007 года в 14:33


Абрамов – хорош. Только размер его неправильно показывается (360).

Нужны они конечно больше сплогерам, чем честным девелоперам, но вдруг и пригодится когда. Сенкс.

Недавно инглиш тема мне была нужна, юзал:
http://sourceforge.net/projects/brit-thesaurus/

Но он страшноват.

 

Жилинcкий Владимир     .

Написано 26 ноября 2007 года в 16:05


да, косяк с размером =)

 

Dimox     .

Написано 26 ноября 2007 года в 18:29


Владимир, респект! Давно искал что-то подобное.

 

Буратно     .

Написано 26 ноября 2007 года в 18:56


Спасибо за базы, первая у меня была, а вот вторую никогда не встречал, а она стоит внимания…

 

Жилинcкий Владимир     .

Написано 26 ноября 2007 года в 22:38


https://zhilinsky.ru/wp-content/uploads/files/Other/Development/rus-syn-prikol.txt

Ещё один файлик. Осторожно – там полный финиш, даже мат синонимизирован. 19 (ДЕВЯТНАДЦАТЬ) мегабайт. Txt\UTF-8.

Я предупреждал :-D

 

Жилинcкий Владимир     .

Написано 26 ноября 2007 года в 22:48


компоновщик|синтезатор,формирователь,разработчик,построитель,составитель
в пожарном порядке|без малейшего отлагательства,скоропалительно,экстренно,как на пожар,наспех,наскоро,на скорую руку,наскоком,немедленно,на живую руку,безотлагательно,с лихорадочной поспешностью,поспешно,наскороту,срочно,торопливо,спешно,в срочном порядке,в спешном порядке,безотложно,неотлагательно
в полной готовности|подготовленный,наготове,в форме,в боевой готовности,в полной боевой готовности,во всеоружии,в готовности,подготовиться,готовый
в полном молчании|не проронив ни слова,без единого слова,без звука,без единого звука,без слов,в молчанку,молча,не издав ни звука,в молчании,не проронив ни звука,не говоря ни слова,молчаливо,безмолвно,молчанкой,безгласно,без слова,молчком
в полном параде|при полном параде,празднично,по-праздничному,торжественно,нарядно,во всем параде
в полном рассудке|в (здравом,своём) уме,психически здоровый,в здравом рассудке,нормальный,обычный,соответствующий норме
в полном смысле слова|самый что ни на есть,чистой воды,первой марки,каких мало,не из последних,в корне,прямой,полностью,насквозь,кардинально,настоящий,чистый,чистокровный,весь,от кончика носа до кончика хвоста,истый,целиком,истинный,чисто,с головы до ног,во всех отношениях,всесторонне,во всем,отъявленный,вполне,совершенно,радикально,с большой буквы,чистейшей воды,чистейший,подлинный,законченный,совсем,абсолютно,окончательно,в полной мере,от начала до конца,до конца,целиком и полностью,всецело,радикальным образом,во всем объеме,высшей марки,в полном объеме,завзятый,форменный,сплошь,коренным образом,сущий,заправский,на все сто,до основания,без подмесу,стопроцентный
в полном согласии|рука в руку,в согласии,ладно,рука об руку,советно,в ладах,в ладу,ладком,душа в душу,в любви и согласии,дружно,согласно
в полном составе|весь,и старый и малый,повально,поголовно,и стар и млад,все,все до одного,все и каждый,все до единого,стар и млад,все и вся,все подряд,все без изъятия,все без исключения,от мала до велика
в полную силу|в полную (мощь,масть),плодотворно,по полной программе,на полную (калитку,масть),изо всех сил,с максимальной интенсивностью,вовсю,чисто,полностью,полнокровно,насыщенно,целиком и полностью,содержательно
в полный голос|прямым текстом,громко,полным голосом,открытым текстом,открыто,в открытую,публично,во всеуслышание,с открытым забралом,с поднятым забралом,не скрываясь,во весь голос
в положении|в интересном положении,готовится стать матерью,собирается стать матерью,беременная
в положенный срок|в урочный час,час в час,вовремя,минута в минуту,к сроку,в положенное время,в срок,без опоздания,своевременно,ко времени
в полусне|спросонья,впросонках,спросонков,сквозь сон,со сна,спросонок,впросонье,спросонку

В таком духе. В винде дальше “Б” не откроется )))

 

Dimox     .

Написано 26 ноября 2007 года в 22:48


Владимир, сделайте, плиз, еще одно доброе дело – сожмите этот файл в архив. 19 метров – это ж ого-го. Файл наверняка ужмется до пары мегабайт.

 

Dimox     .

Написано 27 ноября 2007 года в 10:43


Благодарствую!

 

[YS.PRO]     .

Написано 28 ноября 2007 года в 14:24


Thx, может пригодится.

 

Georgi     .

Написано 2 декабря 2007 года в 00:41


Спасибо за синонимы ! Хорошая вешь для тех кто знает куда их применить :) ;)

 

Lifemaker     .

Написано 2 декабря 2007 года в 16:05


спасибо! вот бы кто еще в мускул это дело пихнул ;)

 

Бомж без колес     .

Написано 4 декабря 2007 года в 17:34


Спасибо за базу! =)

 

Жилинcкий Владимир     .

Написано 4 декабря 2007 года в 18:29


Лень мне =) Делов то – explode && INSERT…

 

Жилинcкий Владимир     .

Написано 4 декабря 2007 года в 18:30


Пожалуйста, коллега =)

 

[email protected]     .

Написано 9 декабря 2007 года в 00:18


Потрясающе… Главное насяльника об этом не говорить, а то его спам потрясет мир :)

 

Trezub     .

Написано 27 декабря 2007 года в 11:54


сказать что это ценная вещь – значит не сказать ничего. :)

 

http://s2m2.ru/me     .

Написано 18 февраля 2008 года в 03:38


круто
на такие брыльянты иногда случайно натыкаешься…

 

Жилинcкий Владимир     .

Написано 18 февраля 2008 года в 10:14


А то =)

 

База Ру Синонимов - Денискин SEO Блог     .

Написано 29 апреля 2008 года в 10:03


[…] и пинчами, нашел неплохую базу и главное в тхт файле. Ловите. Думаю, куда и как такие вещи применять объяснять не […]

 

База Ру Синонимов | Денискин SEO Блог     .

Написано 16 января 2009 года в 14:00


[…] и пинчами, нашел 2 неплохих базы и главное в тхт файле. Ловите1, Ловите2. Формат меняйте под свои скрипты. Думаю, куда и […]

© 2007-2010 Блог интернет-разработчика, автор — Zhilinsky.ru.
При использовании информации ссылка на источник обязательна.