Содержание

YGGo

Проект переведен в статус архивного. Разработка продолжена в рамках новой минималистичной площадки Yo! на базе поискового сервера Manticore.

YGGo - проект с открытым исходным кодом и базой данных, первоочередно ориентирован на поиск в сети Yggdrasil, но также поддерживает конфигурацию для работы с другими сетями.

Индексатор поддерживает различные типы данных, включая мультимедийные форматы. Реализованы базовые алгоритмы PR, поиск по слово-формам, словари лематизации.

Помимо поиска, проект реализует сохранение снимков истории страниц (snaps) по принципу Webarchive.
Добавлена возможность кластерного хранения снимков посредством протокола FTP, для распределения данных и минимизации требований к дисковому пространству вычислительного сервера.

На момент написания материала, содержит в индексе около 700,000 страниц.

Архитектура

Исходный код написан на языке PHP 8. Клиентская часть, как и в остальных проектах YGGverse - не использует JavaScript.

В первом прототипе использовалась база данных SQLite и полнотекстовый поиск FTS5.
Вскоре был осуществлен переход на MySQL и поисковый сервер Sphinx.

Проект предусматривает открытый обмен поисковыми индексами, имеется поддержка JSON API, также периодически публикуются дампы просканированных страниц.

Инстанции

* Официальный узел

Ссылки

* Исходный код на GitHub
* Дампы индексов