База синонимов слов
26 Ноя 2007В наш век Web 2.0 и прочих радостей программы должны быть максимально умными и понимать человека с полуслова, причём даже если это не совсем то слово. На этот счёт в голову приходит мысль о том, что если программа получает от пользователя какие-либо данные в виде слов (строка поиска, теги, команды, ещё что-то), то лучше всего будет не просто использовать полученный текст, а проверить его на ошибки, морфологию и синонимы.
С морфологическим анализатором мы ещё разбираемся (есть у Drupal и есть у Яндекса, оба своеобразны). А вот с синонимами всё сложнее — до сих пор не существует хотя бы более-менее применимого алгоритма и базы синонимов. Результат работы любого современного синонимайзера — полный бред с точки зрения человека. Видимо, не сошлись ещё дороги программистов и лингвистов. Но если тексты обрабатывать не нужно, а только, например, строку поискового запроса, то базы найти можно.
Вот, например, результат парсинга словаря русских синонимов и сходных по смыслу выражений Н. Абрамова (18151 слово и 68729 синонимов) и ещё одна (отличающаяся) база синонимов, чей источник мне к сожалению не известен (5371 слово и 20296 синонимов).
Формат файлов — текстовый, по одному слову на строчку в алфавитном порядке, далее через спецсимвол идут синонимы.
Я не очень понял зачем всё это нужно… для более гибкого выполнения поисковых запросов?, т.е. вывалить пользователю на запрос «водка» не только ссылки на пиво и воблу.. но ещё и на печенье («… а потом я отравился печеньем»)…
нет я конечно скачал словари :) — вот теперь сижу думаю нафига :)
Абрамов — хорош. Только размер его неправильно показывается (360).
Нужны они конечно больше сплогерам, чем честным девелоперам, но вдруг и пригодится когда. Сенкс.
Недавно инглиш тема мне была нужна, юзал:
http://sourceforge.net/projects/brit-thesaurus/
Но он страшноват.
да, косяк с размером =)
Владимир, респект! Давно искал что-то подобное.
Спасибо за базы, первая у меня была, а вот вторую никогда не встречал, а она стоит внимания…
http://zhilinsky.ru/wp-content/uploads/files/Other/Development/rus-syn-prikol.txt
Ещё один файлик. Осторожно — там полный финиш, даже мат синонимизирован. 19 (ДЕВЯТНАДЦАТЬ) мегабайт. Txt\UTF-8.
Я предупреждал :-D
компоновщик|синтезатор,формирователь,разработчик,построитель,составитель
в пожарном порядке|без малейшего отлагательства,скоропалительно,экстренно,как на пожар,наспех,наскоро,на скорую руку,наскоком,немедленно,на живую руку,безотлагательно,с лихорадочной поспешностью,поспешно,наскороту,срочно,торопливо,спешно,в срочном порядке,в спешном порядке,безотложно,неотлагательно
в полной готовности|подготовленный,наготове,в форме,в боевой готовности,в полной боевой готовности,во всеоружии,в готовности,подготовиться,готовый
в полном молчании|не проронив ни слова,без единого слова,без звука,без единого звука,без слов,в молчанку,молча,не издав ни звука,в молчании,не проронив ни звука,не говоря ни слова,молчаливо,безмолвно,молчанкой,безгласно,без слова,молчком
в полном параде|при полном параде,празднично,по-праздничному,торжественно,нарядно,во всем параде
в полном рассудке|в (здравом,своём) уме,психически здоровый,в здравом рассудке,нормальный,обычный,соответствующий норме
в полном смысле слова|самый что ни на есть,чистой воды,первой марки,каких мало,не из последних,в корне,прямой,полностью,насквозь,кардинально,настоящий,чистый,чистокровный,весь,от кончика носа до кончика хвоста,истый,целиком,истинный,чисто,с головы до ног,во всех отношениях,всесторонне,во всем,отъявленный,вполне,совершенно,радикально,с большой буквы,чистейшей воды,чистейший,подлинный,законченный,совсем,абсолютно,окончательно,в полной мере,от начала до конца,до конца,целиком и полностью,всецело,радикальным образом,во всем объеме,высшей марки,в полном объеме,завзятый,форменный,сплошь,коренным образом,сущий,заправский,на все сто,до основания,без подмесу,стопроцентный
в полном согласии|рука в руку,в согласии,ладно,рука об руку,советно,в ладах,в ладу,ладком,душа в душу,в любви и согласии,дружно,согласно
в полном составе|весь,и старый и малый,повально,поголовно,и стар и млад,все,все до одного,все и каждый,все до единого,стар и млад,все и вся,все подряд,все без изъятия,все без исключения,от мала до велика
в полную силу|в полную (мощь,масть),плодотворно,по полной программе,на полную (калитку,масть),изо всех сил,с максимальной интенсивностью,вовсю,чисто,полностью,полнокровно,насыщенно,целиком и полностью,содержательно
в полный голос|прямым текстом,громко,полным голосом,открытым текстом,открыто,в открытую,публично,во всеуслышание,с открытым забралом,с поднятым забралом,не скрываясь,во весь голос
в положении|в интересном положении,готовится стать матерью,собирается стать матерью,беременная
в положенный срок|в урочный час,час в час,вовремя,минута в минуту,к сроку,в положенное время,в срок,без опоздания,своевременно,ко времени
в полусне|спросонья,впросонках,спросонков,сквозь сон,со сна,спросонок,впросонье,спросонку
В таком духе. В винде дальше «Б» не откроется )))
Владимир, сделайте, плиз, еще одно доброе дело — сожмите этот файл в архив. 19 метров — это ж ого-го. Файл наверняка ужмется до пары мегабайт.
http://zhilinsky.ru/wp-content/uploads/files/Other/Development/rus-syn-prikol.txt.zip
Благодарствую!
Thx, может пригодится.
Спасибо за синонимы ! Хорошая вешь для тех кто знает куда их применить :) ;)
спасибо! вот бы кто еще в мускул это дело пихнул ;)
Спасибо за базу! =)
Лень мне =) Делов то — explode && INSERT…
Пожалуйста, коллега =)
Потрясающе… Главное насяльника об этом не говорить, а то его спам потрясет мир :)
сказать что это ценная вещь — значит не сказать ничего. :)
круто
на такие брыльянты иногда случайно натыкаешься…
А то =)
[…] и пинчами, нашел неплохую базу и главное в тхт файле. Ловите. Думаю, куда и как такие вещи применять объяснять не […]
[…] и пинчами, нашел 2 неплохих базы и главное в тхт файле. Ловите1, Ловите2. Формат меняйте под свои скрипты. Думаю, куда и […]