26-08-2023
Главная страница сайта |
|
| Тип | |
|---|---|
| Разработчик | |
| Языки интерфейса |
мультиязычный |
| Первый выпуск |
1997 |
| Последняя версия |
(16 мая 2013 года / «Острова»[1]) |
| Сайт |
www.yandex.ru/promo/, new.yandex.ru, yandex.ru, ya.ru, яндекс.рф (рус.) |
«Яндекс» — поисковый движок, принадлежащий российской корпорации «Яндекс», основной продукт компании.
Отдельными сервисами являются турецкий Яндекс (yandex.com.tr) и поиск по мировому интернету (www.yandex.com), выступающий также в качестве тестовой площадки.
Содержание |
В целом «Яндекс» индексирует следующие типы файлов[2]: html, pdf, rtf, doc, xls, ppt, docx, odt, odp, ods, odg, xlsx, pptx.
Поисковая система способна также индексировать текст внутри объектов Shockwave Flash (если текст не помещен на само изображение), если эти элементы передаются отдельной страницей, имеющей MIME-тип application/x-shockwave-flash, и файлы с расширением .swf[3].
В Яндексе работают 2 сканирующих робота — «основной» и и «быстрый». Первый отвечает за интернет в целом, второй индексирует сайты с часто меняющейся и обновляемой информацией (новостные сайты и информационные агентства). В 2010 году «быстрый робот» получил новую технологию под названием «Orange», разработанную совместно калифорнийским и московским подразделениями «Яндекса»[3].
В логах сервера роботы Яндекса представляются следующим образом[3][4]:
Mozilla/5.0 (compatible; YandexBot/3.0) — основной индексирующий робот.Mozilla/5.0 (compatible; YandexBot/3.0; MirrorDetector) — робот, определяющий зеркала сайтов. Если найдутся несколько сайтов с одинаковым содержимым, в результатах поиска будут показан только один.Mozilla/5.0 (compatible; YandexImages/3.0) — индексатор «Яндекс.Картинок».Mozilla/5.0 (compatible; YandexVideo/3.0) — индексатор «Яндекс.Видео».Mozilla/5.0 (compatible; YandexMedia/3.0) — робот, индексирующий мультимедийные данные.Mozilla/5.0 (compatible; YandexBlogs/0.99; robot) — робот поиска по блогам, индексирующий комментарии постов.Mozilla/5.0 (compatible; YandexAddurl/2.0) — робот, обращающийся к странице при добавлении её через форму «Добавить URL».Mozilla/5.0 (compatible; YandexFavicons/1.0) — робот, индексирующий иконки сайтов (favicons).Mozilla/5.0 (compatible; YandexDirect/3.0) — робот, индексирующий страницы сайтов, участвующих в Рекламной сети Яндекса (РСЯ).Mozilla/5.0 (compatible; YandexDirect/2.0; Dyatel) — «простукивалка» «Яндекс.Директа».Mozilla/5.0 (compatible; YandexMetrika/2.0) — робот «Яндекс.Метрики».Mozilla/5.0 (compatible; YandexCatalog/3.0; Dyatel) — «простукивалка» «Яндекс.Каталога».Mozilla/5.0 (compatible; YandexNews/3.0) — индексатор «Яндекс.Новостей».Mozilla/5.0 (compatible; YandexAntivirus/2.0) — антивирусный робот «Яндекса».С 2009 года Яндекс поддерживает технологию Sitemaps[3].
Интерфейс «Яндекса» располагает довольно сложным языком запросов, позволяющим ограничить область поиска отдельными доменами, языками, типами файлов и т. д.
Для настройки используются следующие символы-джокеры[5]:
"" — точная цитата| — ставится между словами, если нужно найти одно из них* — ставится между словами, если между ними пропущено какое-то словоsite: — поиск на определённом сайтеdate: — поиск документов по дате, например, date:2007+ — ставится перед словом, которое обязательно должно присутствовать в документе& — ставится между словами, которые должны встречаться в пределах одного предложения.Поисковая выдача для каждого пользователя формируется индивидуально на основе его местоположения, языковых запросов и индивидуальных предпочтений и поисковой истории.
Поиск производится на русском, английском, французском, немецком, украинском, белорусском, татарском, казахском языках.
Результаты поиска можно отсортировать по релевантности и по дате (кнопки снизу поисковой выдачи).
В Яндексе реализован механизм «параллельных поисков», когда вместе поиском по вебу производится поиск по сервисам Яндекса, таким как Каталог, Новости, Маркет, Энциклопедии, Картинки и др. В результате, в ответ на запрос пользователя система выдаёт не только текстовую информацию, но и ссылки на видеофайлы, картинки, словарные статьи и пр.[6].
Отличительной особенностью поисковика являются также технологии «интентного поиска» (от Борис Гребенщиков — Город Золотой система покажет форму для онлайн-прослушивания музыки из сервиса ул. Королёва, 12 будет показан фрагмент карты с отмеченным на ней объектом.
Информационные блоки между строкой запроса и результатами называются «колдунщиками». Полный их список:
«Яндекс» предлагает ещё несколько видов поиска:
Логотип Яндекса может менять свой дизайн в честь некоторых памятных дат, к примеру, 75-летию Владимира Высоцкого был посвящён музыкальный логотип[8].
Изменения в поисковой машине долгое время широко не афишировались и оставались безымянными. И лишь с начала 2008 года, когда было объявлено о запуске алгоритма 8 SP1, Яндекс заявил о том, что впредь новые алгоритмы ранжирования будут носить названия городов[9], причем каждое новое название начинается на ту букву, на которую заканчивается предыдущее[10].
| Легенда версий: | Бежевым выделены официально не представленные версии | Зелёным выделены версии, которые были официально представлены |
| История версий Яндекс.Поиска | |||||
|---|---|---|---|---|---|
| Версия | Название | Дата выпуска | Описание | ||
| 1.0 | «Яндекс» | 23 сентября 1997 | Первая версия российской поисковой системы. Умела автоматически отсеивать копии документов, поддерживала русскую морфологию, поиск с учетом расстояния (в том числе в пределах абзаца, точное словосочетание) и имела собственный механизм оценки релевантности[11]. | ||
| ? | без названия | ноябрь 1997 года | Появился естественный язык поисковых запросов[11]. | ||
| ? | без названия | 6 июня 2000 года[12] | Синтаксический анализ, поиск по базам данных, интеграция с каталогом и параллельный поиск по новостям, товарам и услугам. | ||
| ? | без названия | 23 мая 2001 года[12] | Улучшена обработка запросов на естественном языке, повысилась точность и скорость поиска. | ||
| ? | без названия | 23 мая 2001 года[13] | Повысилась точность поиска и улучшилась обработка запросов на естественном языке. | ||
| ? | без названия | 2004 год[14] | Новый алгоритм ранжирования страниц. | ||
| ? | без названия | 2005 год[15] | Новый алгоритм ранжирования страниц. | ||
| ? | без названия | 9 ноября 2006 года[16] | |||
| 7.0 | без названия | 2 июля 2007 года[17] | Изменения в алгоритме ранжирования Яндекса. | ||
| 8.0 | без названия | 20 декабря 2007 года[17] | Улучшение поиска по запросам, однозначно подразумевающим нахождение какого-либо сайта, лучшее понимание типа запроса, устранение влияния некоторых типов накруток ссылок. | ||
| 8sp1 | без названия | 17 января 2008 года[17] | |||
| ? | Магадан 2.0 | 2 июля 2008 года[17] | Улучшения в алгоритме ранжирования | ||
| ? | Находка | 11 сентября 2008 года[17] | |||
| ? | Арзамас (ранее назывался «Анадырь») |
10 апреля 2009 года[17] | Улучшено понимание русской морфологии | ||
| ? | Арзамас 1.1 | 17 июня 2009 года[17] | |||
| ? | Арзамас 1.2 | 17 июля 2009 года[17] | Улучшен классификатор геозависимости запросов. | ||
| ? | Арзамас 1.3 | 20 августа 2009 года[17] | Улучшен классификатор геозависимости запросов. | ||
| ? | Арзамас 1.5 SP1 | 28 сентября 2009 года[17] | Улучшенная региональная формула. | ||
| ? | Снежинск | 17 января 2009 года[17] | Улучшена общая формула ранжирования для пользователей из России по гео-независимым запросам. | ||
| ? | Конаково | 22 декабря 2009 года[17] | Ещё шире используются возможности нашего нового алгоритма MatrixNet. | ||
| ? | Снежинск 1.1 | 10 марта 2010 года[17] | Улучшена общая формула ранжирования для пользователей из России по геонезависимым запросам. | ||
| ? | Полтава | 27 июня 2010 года[17] | Геоориентированный поиск для Украины; построен на технологии Матрикснет. | ||
| ? | Обнинск | 13 сентября 2010 года[17] | Новое ранжирование для геонезависимых запросов в России. | ||
| ? | Краснодар | 15 декабря 2010 года[17] | Улучшено определение неявно сформулированных запросов пользователей. | ||
| ? | Рейкьявик | 17 августа 2011 года[18] | Персонализация на основе языковых предпочтений. | ||
| ? | Калининград | 12 декабря 2012 года[7] | Технология персонализированного поиска. | ||
| ? | Острова | 16 мая 2013 года[1] | Интерфейс поисковой выдачи в виде отдельных интерактивных блоков с возможностью предпросмотра. | ||
Поисковая система yandex.ru была анонсирована компанией CompTek 23 сентября 1997 года[19] на выставке Softool, хотя отдельные разработки в области поиска (индексация Библии, поиск документов на CD-ROM, поиск по сайту) проводились компанией ещё раньше.
…уже в 1997 году, когда мы запускали Yandex.ru, у нас было ощущение кипения, бурлящих пузырьков. Мы понимали, что делаем что-то, что это выстрелит и что никто вокруг этого не понимает. Но не было твердого осознания, как это будет. […] Это было конкретное, чисто физическое ощущение того, куда надо двигаться, почему это будет нужно всем, почему мы будем номером один. Мы тогда не были номером один, но примерно понимали, что нужно сделать, чтобы им стать[20].
Название системы — Яндекс, Яndex, — придумали вместе Аркадий Волож и Илья Сегалович[20].
Слово расшифровывалось как yet another indexer (англ. ещё один индексатор; очередной индексатор) или как «Языковой Индекс». По трактовке Артемия Лебедева, название поисковика созвучно «Яньдекс», где янь — мужское начало[21]. Согласно ещё одной версии, название «Яndex» произошло от слова «Index» путём замены первой буквы[20].
Первый индекс содержал информацию по 5 тыс. серверам и занимал 4,5 ГБ[22].
В том же 1997 году поиск Яндекса стал использоваться в русскоязычной версии Internet Explorer 4.0[23]. Стало возможным задавать запрос на естественном языке[24].
В 1998 году появилась функция «найти похожие документы» для каждого результата поиска[25].
Яндекс.Поиск по состоянию на 1998 год работал на трёх машинах, работавших на FreeBSD под Apache: одна машина обходила Интернет и индексировала документы, одна машина поисковая и одна машина дублировала поисковую машину[26].
В 1999 году появился поиск в категориях — поиск, сочетание поисковой системы и каталога[27]. Обновлена версия поисковой машины[28].
6 июня 2000 года была представлена вторая версия поисковика[29].
Был внедрен механизм параллельного поиска, когда наряду с выдачей из веба предлагается информация из крупных источников. Пользователи получили возможность ограничить поисковую выдачу выбранной темой. Появилась рубрика «Популярные находки» — слова, уточняющие поиск[30].
К декабрю 2000 года объём проиндексированной информации достиг 355,22 Гб[31].
2001 год стал для «Яндекса» значимым, поскольку тогда он обогнал другой российский поисковик, «Рамблер», по посещаемости и с тех пор является ведущей поисковой системой Рунета[32].
Яндекс стал понимать запросы на естественном языке, заданные в вопросительной форме. Система научилась распознавать опечатки и предлагать исправлять их. Изменился дизайн[33].
Количество ежедневных запросов к поисковой машине Яндекс превысило 2 миллиона[35].
Запущена индексация документов .rtf и .pdf[36]
Результаты поиска стали выдаваться в формате XML[37].
Изменился алгоритм ранжирования[38].
Стартовала индексация документов в формате .swf («флэш»)[39], .xls и .ppt[40].
В конце года было выложено в открытый доступ исследование «Некоторые аспекты полнотекстового поиска и ранжирования в Яндекс» (авторы Илья Сегалович, Михаил Маслов), раскрывшее отдельные детали ранжирования в поисковике[41].
Летом был запущен так называемый «быстрый» поисковый робот, работающий параллельно с основным и предназначенных для индексации актуальных страниц. База «быстрого робота» обновляется каждые 1,5—2 часа[42].
Был усовершенствован алгоритм ранжирования для увеличения точности поиска[43].
Возможности поиска были расширены с помощью сервисов «Яндекс.Словари» и «Яндекс.Lingvo». Поисковик научился понимать запросы типа «как [что-то] по-испански» и автоматически переводить их[44].
Стало возможным ограничить поисковую выдачу по региону[45].
С мая 2006 в результатах поиска стали отображаться пиктограммы сайтов[46].
В начале декабря рядом с каждой ссылкой в выдаче появился пункт «Сохраненная копия», кликнув по которой, пользователь переходит на полную копию страницы в отдельной архивной базе («Яндекс-кэш»)[47].
Был изменен алгоритм ранжирования[48].
Существенно был расширен поиск по зарубежному интернету[49]. Появилось автоматическое исправление опечаток в запросе[50].
Заработали подсказки для поиска[51].
В 2008 году компания «Яндекс» впервые стала открыто объявлять об изменениях в поисковом алгоритме и давать им имена:
Чтобы изменения не дезориентировали пользователей, Яндекс с лета прошлого года начал их анонсировать. Загвоздка в том, как эти изменения называть, ведь к дате привязываться неудобно. Решили давать новым программам названия российских городов.[52]
Первым в этом ряду стал поисковый механизм «Магадан», представленный в мае этого же года. Среди изменений — распознавание аббревиатур, транслитерации, поиск текстов с дореволюционной орфографией и др. В июле вышла вторая версия этого алгоритма[9].
В сентябре 2008 г. появляется новый алгоритм «Находка»[9].
На 2008 год поиск «Яндекс» находился на 9 месте в мире[53].
С апреля 2009 запросы с адресами стали сопровождаться фрагментом Яндекс.Карт с отмеченным на нём объектом[54].
Вышло обновление поискового движка под названием «Арзамас» (ранее известный как «Анадырь»). В числе прочих изменений, «Яндекс» теперь научился различать омонимы (слова с одинаковым написанием, но разным значением), определяя, какое слово имеется в виду[9]. Было выпущено 5 версий движка[17].
Заражённые сайты в результатах поиска стали сопровождаться предупреждением[55].
С августа в ответ на некоторые запросы о песнях система начала выдавать форму с возможностью онлайн-прослушивания прямо на странице результатов поиска (впоследствии сервис получит название Яндекс.Музыка)[56].
Сайты на иностранном языке стали сопровождаться кнопкой «перевод» (в дальнейшем сервис получит название Яндекс.Перевод)[57].
В ноябре вышел новый алгоритм «Снежинск», одно из важнейших нововведений — алгоритм машинного обучения ранжированию «Матрикснет». В декабре вышел алгоритм «Конаково» как пакет улучшений к «Снежинску»[9].
В 2009 году «Яндекс» был признан самой быстрорастущей поисковой системой из топ-10 в мире[58].
Изменился язык поисковых запросов[59].
В марте вышло обновление «Снежинска» версии 1.1. Вышли версии поиска для Белоруссии и Татарстана, новая версия украинского поиска — «Полтава»[17].
В мае вышел поиск по мировому интернету — www.yandex.com[17].
С июля 2010 года внизу страницы результатов поиска стали появляться ассоциативные запросы (по типу «Вместе с [запрос] ищут»)[60].
В сентябре вышел алгоритм «Обнинск» (снижено значение SEO-ссылок, улучшено ранжирование по гео-независимым запросам и др.), в декабре — «Краснодар»[9].
Была проиндексирована соцсеть ВКонтакте[9].
Строка поиска стала «залипающей» и теперь находится у верхней границы окна при прокрутке страницы вниз[61].
Летом стало известно, что поисковые технологии «Яндекса» будет использовать «Рамблер»[62].
17 августа 2011 года вышел поисковый механизм «Рейкьявик», учитывающий языковые предпочтения пользователей и персонализирующий на этой основе поисковую выдачу[18].
7 октября 2011 года состоялся запуск поисковика для Турции, что наметило международную экспансию «Яндекса»[63].
Была запущена программа поиска по социальному интернету (программа ПСИ), в рамках которой были реализованы следующие проекты[64]:
Появились «диалоговые подсказки» — специальные кнопки, появляющиеся сразу под поисковой строкой и призванные уточнить неоднозначный запрос[65].
В декабре был запущен новый поисковый алгоритм «Калининград», призванный предоставлять пользователям индивидуальную поисковую выдачу — так называемый «персональный поиск» в зависимости от предпочтений и поведения пользователя, истории его поисковых запросов[7].
Поисковые технологии компании стали пользоваться в Европейском центре ядерных исследований[66].
16 мая 2013 года на конференции YaС/m была представлена новая поисковая платформа «Острова», представляющая собой новаторское интерфейсное решение поисковой выдачи в виде интерактивных блоков[1].
На начало 2013 года «Яндекс» является четвёртым поисковиком планеты с 4,84 млрд поисковых запросов. По этому показателю он отстаёт лишь от Google, Baidu и Yahoo!. Причём, нужно отметить, «Яндекс» является самым быстрорастущим поисковиком из первой пятёрки, с 28 % за 2012 год. Доля на рынке Рунета составляет 60,5 %[67].
По данным на начало 2010 года, «Яндекс» проиндексировал 10 млрд страниц[68]. В интервью за 2012 год глава компании Аркадий Волож объявил о масштабировании поиска по мировому интернету и запуске технологии, которая позволит «индексировать несколько десятков миллиардов страниц»[69].
Страницу результатов поиска в 2012 году пользователи загружали 130 миллионов раз в день[70].
По состоянию на 2012 год, серверный парк компании достигал более 10 тыс. машин, количество сотрудников — более 4,5 тыс., объём рынка интернет-рекламы превышал 1,7 млрд долл[71].
По словам Игоря Ашманова, «сейчас в Рунете „Яндекс“ ищет лучше, чем Google»[73].
Согласно исследованию «Качество поиска и поисковые системы в Рунете» за 6 апреля 2011 года, «Яндекс» лидирует на российском рынке по навигационному и тематическому поиску, по количеству проиндексированных документов, по качеству регионального поиска, в его выдаче невысок уровень поискового спама[74].
Состояние, когда местные поисковые компании не уступают американским брендам, является в мире почти уникальным, если не учитывать опыт Китая, где Гугл в 2010 году был заблокирован, взламываются почтовые ящики правозащитников, а местные провайдеры часто перенаправляют адрес www.google.cn на сайт Baidu[32][75]. Нужно также отметить, что Россия является единственной страной в мире, за исключением США, которой удалось без протекционистских мер создать более одной успешной поисковой технологии с заметной долей рынка (см. также «Рамблер»)[76].
По словам медиа-эксперта Михаила Гуревича, «Яндекс» — «национальное достояние», «стратегический продукт»[77].
Данный факт осознали и в Государственной Думе Российской Федерации, где в мае 2012 года появился законопроект, в котором «Яндекс» и «ВКонтакте» признаются стратегическими предприятиями как общенациональные трансляторы информации[78]. Ещё в 2009 году Президент России Дмитрий Медведев инициировал покупку «Сбербанком» «золотой акции» «Яндекса» с целью избежать попадания попадания предприятия общегосударственной важности в руки иностранцев[71].
В 2012 году «Яндекс» обогнал «Первый канал» по численности ежедневной аудитории, что сделало российский интернет-гигант лидером отечественного медиарынка[78].
В 2008 году «Яндекс» был девятым поисковиком в мире[53], в 2009 — седьмым[79], в 2013 — четвёртым[67].
Одной из составляющих такого положения служит наличие в России достаточного количества математически подкованных специалистов, обладающих научным чутьём[80][81]. Имеет значение языково-культурный барьер[20].
Россия — одна из немногих стран, у которых есть собственный поисковик, занимающий первое место в стране, есть свои соцсети, держащие первенство. […] В ближайшие 3—5 лет иностранцы смогут претендовать только на третье-четвертое места[82].
Яндекс.Поиск.
