Замковий О.В.
ЕФЕКТИВНА МОДИФІКАЦІЯ АЛГОРИТМУ ПОШУКУ В ГЛИБИНУ ДЛЯ ОБХОДУ ВНУТРІШНІХ ПОСИЛАНЬ САЙТУ
Київський національний університет імені Тараса Шевченка
The author offers the hyperlink level division algorithm and shows that such a division provides significant efficiency gain of depth-first search algorithm applied to website inner crawling compared to a typical depth-first search algorithm where undivided hyperlinks are searched among the hyperlinks that are already passed.
Keywords: depth-first search, website, crawling, hyperlink, algorithm.
Автор пропонує алгоритм поділу посилань сайту на рівні і показує, що такий поділ дає суттєвий приріст ефективності алгоритму пошуку вглибину у застосуванні до обходу внутрішніх посилань сайту порівняно із типовим пошуком не поділених посилань серед вже пройдених.
Ключові слова: пошук в глибину, веб-сайт, посилання, алгоритм.
Для розв’язку задач аналізу вмісту сайту, тематики сайту, індексації сторінок сайту, створення мапи сайту тощо виникає необхідність обходу всіх внутрішніх сторінок сайту за посиланнями, що містяться на його сторінках. Проблему обходу сайту можна переформулювати, як обхід всіх внутрішніх посилань сайту починаючи із певної сторінки. Для визначеності будемо вважати, що обхід завжди починається із титульної сторінки.
Під внутрішніми сторінками сайту розуміють посилання, які містять у собі хост сайту та перехід на які не призводить до переадресації клієнта (наприклад, браузера) на посилання із хостом відмінним від хосту данного сайту.
Хост [3] – будь-який пристрій, що надає послуги формату «клієнт-сервер» у режимі сервера по яким-небуть інтерфейсам і унікально визначений на цих інтерфейсах.