HowTo Yggdrasil - yggdrasil:sites_and_services:search_services

YaCy

anonymous@undisclosed.example.com (Anonymous) — Wed, 22 Oct 2025 08:13:19 +0000

YaCy

Поисковая P2P система с открытым исходным кодом, написанная на языке Java.

Может работать как в локальных сетях и использоваться для частных нужд, например, предприятий, так и в глобальном режиме - для создания общедоступного поискового веб-сервиса.

Для обмена данными поискового индекса в режиме P2P, используется технология DHT. Взаимодействие с сервером осуществляется посредством JSON и XML API.

Основным преимуществом платформы для пользователя являются приватность (в локальном режиме) и децентрализация - то есть, отсутствие цензурного регулятора.

YaCy не заменит такие платформы как Google и Yahoo, но в виду наличия открытого исходного кода и множества настроек, позволяет создавать собственные индексы, дополняющее имеющиеся инструменты поиска.

Типы конфигураций

Проект может использоваться для различных нужд, поэтому предусматривает три основных типа стартовой конфигурации:

Режим P2P

В данном режиме, поисковый индекс формируется как из локального реестра, так и реестра удаленных узлов.

Узел, который способен раздавать поисковый индекс другим - называется Senior node, в стандартном понимании BitTorrent - это сид. Для этого режима, в классической сети интернет, важным условием является наличие открытого порта 8090 а также выделенный IP адрес.

Узел, который работает в режиме P2P но не доступен для других участников, называется Junior node, или пир. Такой узел может получать индекс с публичных узлов, но не способен раздавать собственный реестр.

Поисковый портал

Режим работы сервера, который наиболее удобен для создания собственного, изолированного веб-портала, например для группы сайтов предприятия или коллекции общедоступных сайтов.

Локальный режим

Используется для изолированных приложений без доступа в сеть интернет.

Yggdrasil

YaCy отлично подойдет для исследования как самой сети Yggdrasil, так и сети интернет посредством шлюза.

Возможность подключения посредством Yggdrasil к другим узлам, находящихся за NAT - значительно расширяет возможности и сферы применения этого движка на практике.

Чтобы настроить сервер для индексации локальных ссылок по регулярному выражению, можно задать правило в админ-панели:

Menu - Advanced Crawler - Use filter

Для допуска URL только с адресами Yggdrasil и доменными зонами ygg и meship, можно использовать регулярное выражение:

^(http|https):\/\/(\[(2[0-9a-fA-F]{2}|3[0-9a-fA-F]{2}):([0-9a-fA-F]{1,4}:){0,6}([0-9a-fA-F]{1,4})?(::([0-9a-fA-F]{1,4}:?){0,6}([0-9a-fA-F]{1,4})?)?\](:.*|)|[^\s\/]+?\.(ygg|meship))(\/.*|)$

А для ограничения доступа в глобальную сеть можно использовать следующие правила nftables:

table inet filter {
	chain output {
	        type filter hook output priority 0; policy accept;
	        ip6 daddr 200::/7 meta skuid <пользователь> accept;
	        meta skuid <пользователь> reject;
	}
}

Внутрисетевые узлы

Ссылки

Официальный сайт

Yo!

anonymous@undisclosed.example.com (Anonymous) — Wed, 22 Oct 2025 08:13:19 +0000

Yo!

Поисковая площадка для сети Yggdrasil с открытым исходным кодом с минимальным заимствованием наработок архивного YGGo

Целью проекта является переход на более актуальные программные решения, желание сделать проект доступным для быстрой и удобной установки а также сокращение издержек на обслуживающие сервера.

База данных импортирована с YGGo, но отсутствуют снимки в виду смены их архитектуры (доступен архив ~14 Гб).

Технические отличия от YGGo

в основе используется поисковый сервер Manticore , которому делегированы все задачи хранения данных и операции с индексами
отказ от перманентных хранилищ вроде MySQL, что упрощает установку и значительно снижает требования к серверу (удалось освободить порядка 1Гб ОЗУ и 4Гб дискового пространства при ~1М документов)
индексы обновляются в режиме Real Time
непосредственно кодовая база проекта реализована в нескольких файлах - для CLI и WebUI, остальные задачи делегированы Composer , в частности - официальной библиотеке manticoresearch-php
в проекте сохранены все ключевые функции, в том числе снимки истории страниц (snap) которые в свою очередь оптимизированы для децентрализованного формата хранения данных вида /md5url/timestamp а также сжатием с помощью tar.gz
основной из задач проекта является доработка поисковой выборки, так как в предыдущей реализации было трудно что либо найти и сейчас над этим ведется работа (просьба оставлять отзывы о результатах запросов)

Установка

Для установки достаточно выполнить несколько команд, описанных в разделе README

Приложение самостоятельно создаст индексы на основании единственного файла настроек.

Настройки

Все необходимые для работы настройки собраны в файл json ( пример )

Yggdrasil

Платформа изначально создана для поиска контента в сети Yggdrasil но также может быть использована для организации локального или публичного поискового сервера для сети Интернет.

Чтобы осуществлять поиск в сети Yggdrasil, достаточно изменить правила сбора ссылок, например:

"a:not([rel=nofollow])":
{
    "attribute":"href",
    "external":true,
    "regex":"/^http:\\/\\/\\[0{0,1}[2-3][a-f0-9]{0,2}:/"
},
"image":
{
    "attribute":"src",
    "external":true,
    "regex":"/^http:\\/\\/\\[0{0,1}[2-3][a-f0-9]{0,2}:/"
},
...

По аналогии можно добавить поддержку доменов .ygg или сделать поиск только по указанной зоне:

"regex":"/^http:\\/\\/[A-z0-9\\.-]+\\.ygg/"

Если не планируется сбор / архивирование медиа контента, можно удалить соответствующие конструкции селекторов.

Не смотря на то, что с помощью регулярных выражений можно сделать то же самое, для удобства добавлены дополнительные фильтры подстроки:

"skip":
{
    "stripos":
    {
        "url":
        [
            "#",
            "javascript:",
            "mailto:",
            "magnet:",
            "xmpp:"
        ]
    }
}

Внешние ссылки

Очень просто можно перевести приложение в режим локального поиска по сайту, указав в настройках

"external":false

Клиентская индексация

Чтобы принимать запросы на индексацию через поисковое поле, нужно включить опцию

"webui":
    {
        "search":
        {
            "index":
            {
                "request":
                {
                    "url":
                    {
                        "enabled":true,

также можно указать фильтры адресов с помощью регулярного выражения в поле «regex»

Резервные копии

Сервер Manticore предусматривает несколько базовых сценариев для выполнения бекапов:

Логический

Данный способ подойдет узлам, предоставляющих публичный доступ к собранным данным посредством текстового дампа в формате SQL.

При таком подходе, по расписанию выполняется команда mysqldump:

@monthly mysqldump -h0 -P9306 manticore > /var/www/html/index.sql 2>&1

Чтобы не останавливать сканер, можно указать флаг

--lock-tables=false

а также исключить дополнительные таблицы, если они не нужны

--ignore-table=manticore.yo_some_document

На основном сервере, дамп генерируется раз в месяц, а последняя его версия - всегда доступна по ссылке /index.sql в корне соответствующего сайта: версия IPv6 , yo.ygg и т.д.

Владельцы могут ограничить канал для загрузки дампов посредством http:

location = /index.sql {
	limit_rate 50k;
	# ограничение будет срабатывать после 100 Мб
	# limit_rate_after 100m;  
}

История снимков на данный момент не опубликована в виду дисковых ограничений и вероятно, этот процесс будет автоматизирован последством создания периодических торрент раздач.

Таким образом, можно выполнить слияние / быстро развернуть приватный или общий поисковый сервер с нуля, без лишнего обращения к сайтам и затрат времени на сканирование.

Подробнее о логических бекапах

Физический

Данный способ подразумевает резервное копирование мета информации сервера, включая бинарные данные.

Подход менее требовательный к ресурсам сервера, может выполнятся чаще для административных нужд.

Подробнее о физических бекапах

Инстанции

Ссылки

Проект на GitHub: https://github.com/YGGverse/Yo ( зеркало )
Ветка для протокола Gemini https://github.com/YGGverse/Yo/tree/gemini
Официальный сайт Manticore: https://manticoresearch.com
Новости: https://mastodon.social/@YGGverse
Канал KevaChat: 0200::/7 , алиас