Архив всех статей

Содержимое этой wiki – это результат коллективной работы всего сообщества. Для того, чтобы эта работа не оказалась напрасной, а все статьи в какой-то момент не оказались безвозвратно утеряны в результате непредвиденных обстоятельств или технических сбоев, всё содержимое wiki ежедневно архивируется и загружается в хранилище на специальном сервере. Облегченную копию этого архива любой желающий может скачать, хранить на своей машине и использовать по своему усмотрению. По сути, этот архив является бэкапом данных и может быть использован для восстановления всех статей на другом сервере.

Архив создается ежедневно в 23-30 по московскому времени, ссылка для скачивания на этой странице обновляется автоматически: Архив всех статей (SHA-256).

Для автоматического ежесуточного скачивания архива всех статей можно использовать команду (Linux):

wget http://[222:a8e4:50cd:55c:788e:b0a5:4e2f:a92c]/howto-wiki-latest.tar.gz
Вариант для скачивания последнего файла с датой в имени:


wget http://[222:a8e4:50cd:55c:788e:b0a5:4e2f:a92c]/howto-wiki_$(date -d "$date -1 days" +"%F")-23-30.tar.gz

или (в зависимости от времени запуска (до 0:00 или после)):

wget http://[222:a8e4:50cd:55c:788e:b0a5:4e2f:a92c]/howto-wiki_$(date +"%F")-23-30.tar.gz

Как восстановить статьи из бэкапа

Необходимо установить dokuwiki, скопировать содержимое каталогов data, conf из архива в соответствующие каталоги установленной dokuwiki и настроить права доступа web-сервера к восстановленным файлам.

В некоторых статьях используется форматирование, синтаксис которого, реализован в плагинах wrap и HTML Details Tag. Необходимо установить эти плагины, чтобы сохранить форматирование.

Чтобы придать dokuwiki такой же вид, как на этом ресурсе, можно использовать шаблон (template) Navigation и плагин IndexMenu.

Регистрационные данные о пользователях в архив не включены из соображений безопасности, на новом сервере всем пользователям придется регистрироваться заново.

Обсуждение

d4708, 2023/10/17 23:42
Думаю есть смысл также периодически создавать торрент раздачи, например, юбилейные выпуски или раз в год

Пока добавил и стал на раздачу архива от 2023-10-17-23-30
http://[201:23b4:991a:634d:8359:4521:5576:15b7]/yggtracker/ru/torrent/100

d4708, 2024/01/29 22:11, 2024/01/29 22:12
Решил попробовать сделать версию howto для gemini.

Но как то странно сегодня загружается архив кусками через wget:

Read error at byte 11491225/210284561 (Connection reset by peer). Retrying.

Вообще там видео появилось и файл потяжелел, я думаю админам следует обратить внимание на ограничение трафика для nginx

newbie, 2024/01/29 23:17
Вероятно, проблема в стабильности соединения Ygg. Здесь нет ограничений при скачивании файла в один поток…

d4708, 2024/02/04 12:57
У меня стабильный интернет, странно. Качалось, теперь снова вылетает.

Thunar, 2024/02/04 17:27
Думаю, дело не в интернете от вашего провайдера, а в стабильности работы Ygg.

wget http://[222:a8e4:50cd:55c:788e:b0a5:4e2f:a92c]/howto-wiki_2024-02-03-23-30.tar.gz
--2024-02-04 17:24:06-- http://[222:a8e4:50cd:55c:788e:b0a5:4e2f:a92c]/howto-wiki_2024-02-03-23-30.tar.gz
Подключение к [222:a8e4:50cd:55c:788e:b0a5:4e2f:a92c]:80… соединение установлено.
HTTP-запрос отправлен. Ожидание ответа… 200 OK
Длина: 210288025 (201M) [application/octet-stream]
Сохранение в: ‘howto-wiki_2024-02-03-23-30.tar.gz’

howto-wiki_2024-02-03-23-30.tar.gz 100%[=======================================================================>] 200,55M 8,03MB/s за 26s

2024-02-04 17:24:33 (7,62 MB/s) - ‘howto-wiki_2024-02-03-23-30.tar.gz’ сохранён [210288025/210288025]

d4708, 2024/02/04 23:02
Я подключён только к своему пиру tls://94.140.114.89:4708
Даже не знаю что делать, проверил - обрывается коннект wget :)

newbie, 2024/02/04 23:06
Попробуйте свои узлы подключать к двум-трем географически ближайшим к вам пирам.

d4708, 2024/02/04 23:14
Только что попробовал загрузить с www.ygg.work.gd - работает, видимо действительно глючит Yggdrasil,
скачать то не проблема, но если я добавлю сторонние пиры, тогда у меня просядет пинг в HL)

хотелось бы понять почему так происходит

d4708, 2024/02/04 23:15
уже понял: маршрут моего паблик пира проложен к вашему через нестабильные случайные узлы

d4708, 2024/02/05 14:41, 2024/02/05 14:41
Проявилась возможно связанная проблема с проксированием через ygg - контент сайта загружается не полностью а изображения периодически отдают разный размер. На примере протокола gemini, пакет считается переданным по завершению потока данных, если есть вылет - то пакет считается переданным

Неужели иг такую подставу делает..

d4708, 2024/02/08 17:38, 2024/02/08 20:49
Создал репозиторий для журналирования изменений в бекапах:
http://[316:c51a:62a3:8b9::4]/YGGverse/howto-db

Такой вопрос: можно ли прицепить хеш-сумму?
К файлу наверное не стоит в виду существующих автобекапов, но вот рядом файл txt не помешает (и желательно сумму latest чтобы не качать идентичный файл)

p.s. надеюсь администрация Purple I2P не против, свой Gitea не охота сейчас поднимать

newbie, 2024/02/08 22:25, 2024/02/08 22:39
howto-wiki_2024-02-07-23-30.tar.gz.sha-256

В дальнейшем файлик будет создаваться с именем такого же вида.

(проверять можно так: sha256sum -c howto-wiki_2024-02-07-23-30.tar.gz.sha-256)

d4708, 2024/02/09 03:35
Спасибо!

Мне команды sha256sum -c маловато, написал и выложил скрипты (в частности сверка версий, чтобы не качать на автомате лишних 200 Мб каждые сутки)
https://github.com/YGGverse/howtools

может кому пригодится

d4708, 2024/02/10 14:41, 2024/02/10 14:48
Настроил авто-обновления репозитория, казалось бы отслеживание правок работает идеально, но для этой статьи переменная даты архива попадает в треккинг:

http://[316:c51a:62a3:8b9::4]/YGGverse/howto-db/commit/a1e35d70500e6b375c98ab23933b50829ce33119
data/pages/wiki/wiki_backup.txt

Даже не знаю, заигнорить всю страницу раде одной переменной или оставить как есть.. тогда будет в году 365 холостых коммитов по этой странице

Может сделать статический симлинк (локацию для nginx) а сами архивы оставить как есть (для совместимости)

newbie, 2024/02/10 14:53
Как вариант:
tar -xvzf howto-wiki_2024-02-09-23-30.tar.gz --exclude='data/pages/wiki/wiki_backup.txt'
d4708, 2024/02/10 15:29, 2024/02/10 15:30
можно и через .gitignore
я сначала заигнорил страницу но там инструкция по установке.

newbie, 2024/02/10 15:06
Хотя, можно и ln -s сделать.
howto-wiki-bkp.tar.gz и howto-wiki-bkp.tar.gz.sha-256 будет OK?
d4708, 2024/02/10 15:30, 2024/02/10 15:39
алиас может howto-wiki-latest или howto-wiki-db - уже не критично, главное текущую маску физического файла не менять для обратной совместимости

newbie, 2024/02/10 15:44
OK, обозвал latest.
d4708, 2024/02/10 15:45
Спасибо, а саму ссылку не забыли в материале (ту которая в diff попадает)

newbie, 2024/02/10 15:45
Текст статьи я обновил.
d4708, 2024/02/10 15:58
Спасибо, синхронизировал!
qccv, 2024/03/03 16:10
Проблема скачки через yggdrasil есть, причём проблема на стороне вики, видимо сама вики подключена к нестабильным узлам, потому что:
1. я перепробовал множество разных географически раскиданных серверов и везде ошибка "Connection reset by peer" в наличии.
2. у других сайтов в Иггдрасиле нет такой ошибки и скорость в целом с них выше.
С трудом удалось скачать через yggdrasil используя команду: wget --retry-connrefused --tries 0 http://[222:a8e4:50cd:55c:788e:b0a5:4e2f:a92c]/howto-wiki-latest.tar.gz

d4708, 2024/03/03 16:41, 2024/03/03 16:49
Проблема однозначно на стороне сервера, в канале матрикс тоже несколько человек подтвердили ошибку коннекта, когда она проявилась в очередной раз.
Пока архив обновляется только когда он есть, не критично но такое.. если говорить про синхронизацию правок в репозитории

Интерес только спортивный - что под капотом в пирах - если там есть допустим, моя нода, может все же игдрасиль допускает построение маршрута через отвалившийся пир

Fyodor Ustinov, 2024/03/03 17:31
1. Я проблем ни с самим скачиванием, ни со скоростью не вижу. 2024-03-03 16:27:10 (10,4 MB/s) - ‘howto-wiki-latest.tar.gz’ saved [210655321/210655321] Не гигабит в секунду, конечно, но в целом - нормально.
2. В yggdrasil, похоже, есть какой-то непонятный баг. https://github.com/yggdrasil-network/yggdrasil-go/issues/1123 - возможно есть какая-то корреляция.

Thunar, 2024/03/03 18:09
У меня тоже нет проблем со скачиванием. Полностью скачивается примерно за 40 секунд, без разрывов.
Пробовал с разных машин в разных локациях, с разными подключенными пирами.

d4708, 2024/03/03 18:15, 2024/03/03 18:17
ну так сейчас может и скачивает, вопрос в том что не всегда (похоже на то что транзитный пир уходит в оффлайн).

когда проводил опрос в момент отказа, не качалось ни у кого.

Fyodor Ustinov, 2024/03/03 19:19
Ну так сеть как штормило так и штормит время от времени.
newbie, 2024/03/03 16:56
Попробуйте с [320:9c1:e1fa:a105::d] скачивать.
d4708, 2024/03/24 23:09
Гляньте езернет на всякий - неделю минимум упорно искал причину в системе, на роутере.. а оказалось что просто дисконнект на удлинителе витой пары))

Только авторизованные участники могут оставлять комментарии.
wiki/wiki_backup.txt · Последнее изменение: 2024/02/11 01:21 — Thunar
 
Recent changes RSS feed Donate Powered by PHP Valid XHTML 1.0 Valid CSS Driven by DokuWiki