Компания Яндекс изменила алгоритм ранжирования сайтов. Для этого была внедрена новая нейросетевая модель. Она способна более эффективно распознавать смысл пользовательских запросов, чтобы выдавать релевантные страницы. Эксперты из компании Liknot рассказали подробнее об этом нововведении.
Разработчики алгоритма утверждают, что это наиболее крупное событие в истории Яндекса за последние 10 лет, когда был запущен Матрикснет. Представители Яндекса сообщили, что алгоритмы Королев и Палех не играют значимой роли в ранжировании. Нейросетевая модель является гораздо более эффективной. Он учитывает тысячи разнообразных факторов ранжирования. При этом даже в случае отключения всех остальных алгоритмов, качественные результаты будут выдаваться в 95% случаев.
Новый алгоритм Яндекса получил название YATI. В нем используются так называемые трансформеры. Это современная архитектура нейронных сетей, которая применяется для работы с текстовой информацией. Разработчики Яндекс организовали свою концепцию трансформеров. Алгоритм поддерживает тексты даже большого объема, в то время как старые работали лишь с короткими запросами пользователей. Нейронная сеть умеет выделять наиболее важные текстовые блоки. При этом принимается во внимание контекст, и в каком порядке расположены отдельные слова.
Зачем нужен новый алгоритм
Для выдачи качественных результатов поиска система должна уметь хорошо понимать связь между пользовательским запросом и проиндексированными страницами. Другими словами, алгоритм должен определить, содержится ли в документе ответ на вопрос пользователя.
С первого взгляда кажется, что просмотреть документ на наличие запроса довольно просто. На самом деле алгоритм ранжирования Яндекса анализирует не только включение слов из запроса в документ, но и наличие синонимов, смысловую нагрузку. Также проводится анализ готовой таблицы с распространенными запросами. Учитываются дополнительные признаки контента и многое другое.
В результате специалистами Яндекса было собрано много тысяч самых разных факторов ранжирования. И все они должны учитываться вместе при вводе пользовательского запроса. Это вызвало необходимость усовершенствования алгоритмов.
Особенности применения нейронных сетей в ранжировании
В последнее время значительно повысилось качество работы поисковых систем за счет внедрения нейросетей. Это позволяет более точно определять семантику и выдавать пользователям релевантные документы.
Первоначально нейронные сети были очень простыми. Они не учитывали порядок слов в предложении. А объем словарного запаса этих сетей имел ограничения. Поэтому нередко слова в запросах просто терялись, что влияло на качество выдаваемых результатов.
Впоследствии нейронные сети получили активное развитие, что позволило решать более сложные задачи и математические операции. Также они обучаются на огромном количестве примеров, что улучшает анализ смысла запросов. При работе сети применяется лог поиска, в который записываются предпочтения людей, производивших поиск ранее. Благодаря этому ранжирование Яндекса сталовыполняться более качественно. Дополнительно учитывается и тот факт, что люди нередко набирают несколько запросов один за другим, расширяя и уточняя их.
У простых нейронных сетей есть ограничение по анализу входного текста. Дело в том, что он может иметь большую длину и разнородные слова, каждое из которых несет определенный смысл. В результате система лишь грубо понимает смысл запроса.
Стоит отметить, что нейросеть Яндекса постепенно обучается возможностям предугадывать связь между запросами и веб-документами. В результате, это помогает в обработке коммерческих запросов, поиске ответов на конкретные вопросы и т.д. Дополнительно сети обучаются с помощью экспертных оценок. Это когда человек оценивает качество ранжирования. Особенно такие оценки актуальны для сложных тематик, например, физика или юриспруденция.
Применение трансформеров
Отличительной чертой трансформеров является обработка отдельных текстовых элементов, в том числе и знаков пунктуации. Также применяется так называемый «механизм внимания», позволяющий оперировать с важными частями текста. Поэтому при запросе «купить автомагнитолу» будет выделяться именно та часть страницы, которая касается этого товара. Такие сети отлично запоминают связи между отдельными словами, что позволяет генерировать тексты. Эта функция активно применяется в переводчике Яндекса.
Специалисты Яндекса разработали свои уникальные трансформеры, которые заточены под ранжирование веб страниц. При этом эти нейронные сети обучаются предсказывать возможность клика по ссылке в результатах выдачи, а также ряду других сложных задач. Эти сети включается в split-модель с функцией многозадачности. Благодаря этому Яндексу удалось значительно повысить качество ранжирования.
смотреть порно онлайн смотреть порно онлайн смотреть порно онлайн порнуха онлайн порнуха онлайн порнуха онлайн порнуха онлайн порнуха онлайн порнуха онлайн порнуха онлайн порнуха онлайн порнуха онлайн порнуха онлайн порнуха онлайн порнуха онлайн порнуха онлайн порнуха онлайн порно видео порно видео порно видео порно видео порно видео порно видео порно видео порно видео
вместе с Liknot
200+ рекламодателей
Более 1 млн ₽ заработано
веб-мастерами вчера
.svg)
