The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Google развивает систему перезагрузки ядра без остановки работы устройств

21.03.2025 22:03

Инженеры из компании Google опубликовали для обсуждения разработчиками ядра Linux набор патчей с реализацией подсистемы Live Update Orchestrator (LUO), предназначенной для обновления ядра в Live-режиме. В отличие от таких механизмов, как livepatch, Ksplice, kpatch и kGraft, новая система не ограничивается возможностью применения отдельных исправлений к работающему ядру Linux, а позволяет полноценно перезагрузить и обновить ядро без остановки работы отдельных устройств. Проект базируется на наборе патчей KHO (Kexec HandOver) к механизму kexec, применяемому для загрузки нового ядра из уже запущенного ядра Linux без физической перезагрузки.

В качестве основной области применения LUO называются облачные окружения, в которых появится возможность обновления гипервизора KVM без нарушения работы запущенных виртуальных машин. В частности, можно будет приостановить виртуальные машины на время перезагрузки ядра с гипервизором, сохранив в рабочем состоянии все прикреплённые к виртуальным машинам устройства.

Для воплощения данной возможности LUO предоставляет возможности для сохранения состояния устройств до переключения на новое ядро и восстановления состояния сразу после задействования нового ядра, таким образом, что непрерывные операции системы и приложений в пространстве пользователя с устройствами не будут нарушены. В процессе перезагрузки ядра также обеспечена неразрывность выполняемых операций с DMA и активность, связанная с обработкой прерываний.

Для координации сохранения состояния и переключения на новое ядро LUO предоставляет API, позволяющий другим подсистемам ядра подключать обработчики для отслеживания и участия в процессе Live-перезагрузки. Среди подсистем, которые могут интегрироваться с LUO, отмечены гипервизор KVM, iommu, система прерываний и драйверы. Для передачи состояния памяти от старого ядра к новому задействован KHO (Kexec HandOver). Управление производится через файлы sysfs "/sys/kernel/liveupdate/{state, prepare, finish}".

  1. Главная ссылка к новости (https://lore.kernel.org/lkml/2...)
  2. OpenNews: Проект TuxTape для развёртывания инфраструктуры live-патчей к ядру Linux
  3. OpenNews: Для ядра Linux предложен livepatch, механизм обновления без перезагрузки
  4. OpenNews: Oracle поглотил компанию Ksplice, развивающую технологию обновления Linux-ядра без перезагрузки
  5. OpenNews: Компания SUSE открыла код kGraft, системы для обновления ядра Linux без перезагрузки
  6. OpenNews: Компания Red Hat открыла код kpatch для организации обновления на лету ядра Linux
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/62929-kernel
Ключевые слова: kernel, linux, live, update
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (62) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (1), 22:12, 21/03/2025 [ответить] [﹢﹢﹢] [ · · · ]  
  • +15 +/
    Ой а руткиты то как воспрянут духом.
     
     
  • 2.40, Аноним (-), 09:48, 22/03/2025 [^] [^^] [^^^] [ответить]  
  • +/
    Ну пока до этого дойдут, у них уже будет тотальный контроль
     
  • 2.42, КО (?), 09:58, 22/03/2025 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Ну так это основное назначение данной системы, всё для удобства пользователя
     
  • 2.68, Аноним (-), 17:36, 22/03/2025 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Ой а руткиты то как воспрянут духом.

    Самый неломаемый компьютер - который не подключен к питанию и интернету. Так что как говорится, анон, "при аварии - выдерни шнур, выдави стекло"

     
  • 2.80, Аноним (80), 00:17, 23/03/2025 [^] [^^] [^^^] [ответить]  
  • +/
    Руткиты больше не нужны. Пользователь андроид отдаёт всё сам
     

  • 1.3, Аноним (3), 22:20, 21/03/2025 [ответить] [﹢﹢﹢] [ · · · ]  
  • +4 +/
    Будут обновлять десктопного Андрея без перезагрузки. Жду Google Pixel Laptop ещё сильнее.
     
     
  • 2.15, Аноним (15), 23:14, 21/03/2025 [^] [^^] [^^^] [ответить]  
  • +14 +/
    И без вашего ведома.
     
     
  • 3.25, Аноним (3), 01:46, 22/03/2025 [^] [^^] [^^^] [ответить]  
  • –3 +/
    И это хорошо эти нотификации "обнови меня" утомляют. Хром сам вон обновляется и это с самого начала была его основная фича.
     

  • 1.7, Интересующийся (??), 22:34, 21/03/2025 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Т.е., пилится для облачных технологий?! Ясно.
    Что-то много стало уклона в облако.
    Корпорации хотят всех пересадить на  сервисы с подпиской? Для... Максимум спектра задач компаний и ФЛ.
    Понятно.
    Не хочу я чего-то...
     
     
  • 2.8, Аноним (8), 22:38, 21/03/2025 [^] [^^] [^^^] [ответить]  
  • +8 +/
    Пилится в первую очередь для себя. И с барского плеча так и быть отдаётся сообществу.
     
     
  • 3.23, Интересующийся (??), 00:18, 22/03/2025 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Заруби себе на носу.
    Корпорации, тем более транснациональные, никому с "барского плеча" ничего не дают. Это бизнес и очень жесткий, возможно даже жестокий. А бизнес всегда преследует выгоду. Всегда. Они прагматики.
    И если они скинули опенсорс, то, как вероятность, лишняя поддержка сообщества вне их штата, хотя бы в тестировании.
    К тому же, посмотри объемы проектов облачных технологий. Хотелось бы еще объемы инвестиций, их доли посмотреть...
    Когда надо, они надавят и на форки, и на разработчиков, и на кого угодно, если будет нужда.
     
     
  • 4.24, anonymous (??), 01:30, 22/03/2025 [^] [^^] [^^^] [ответить]  
  • –3 +/
    Тебе бы стоило понимать, что выражение "с барского плеча" в современном мире используется в ироничном смысле.
    Ясен перец, корпорации не баре и ничего с барского плеча не дают. Я хз, что ты под этим выражением понимал.
     
  • 4.36, Аноним (36), 09:02, 22/03/2025 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Ты какой-то сердитый, аноним.

    Бизнес, может, и жёсткий, но большие корпорации обычно занимают какие-то ниши, и в них укореняются, из-за этого их оттуда сложно выбить, и поэтому они начинают коррумпироваться и разводить DEI и прочую ESG.

    Так что корпорации тоже "с барского плеча" тоже бывает что и дают, из-за всеобщего раздолбства.

    Но и бывает так, что компании просто выгоднее "положить продукт на Гитхаб и забить на него". Типа, какие-то баги сообщество само найдёт, для каких-то даже патчи пришлёт. Да и просто выделять инженера на поддержку особенно не придётся.

     
  • 3.41, Аноним (-), 09:51, 22/03/2025 [^] [^^] [^^^] [ответить]  
  • +/
    Пилится в первую очередь для соблюдения их реальной ценности - монополия. А именно монополия на власть.
     
  • 3.69, Аноним (-), 17:38, 22/03/2025 [^] [^^] [^^^] [ответить]  
  • +/
    > Пилится в первую очередь для себя. И с барского плеча так и быть отдаётся сообществу.

    Скорее, чтобы не взваливать на себя вообще весь майнтенанс единолично. Это так то довольно дорого и непрактично. Поэтому линух и юзают, а не всякие там bsd растащенные по углам.

     
  • 2.10, Аноним (10), 22:41, 21/03/2025 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Облачные сервисы масштабируемы, дело не в хомяках.
     
  • 2.49, Аноним (49), 11:04, 22/03/2025 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Мне уже интересно сколько разных теорий заговора местные не очень здоровые люди родят в комментах к этой новости
     
     
  • 3.56, Аноним (-), 11:47, 22/03/2025 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Много Это вообще под вопросом кто тут не очень здоров Вот смотри в программиро... большой текст свёрнут, показать
     
  • 2.67, OpenEcho (?), 16:40, 22/03/2025 [^] [^^] [^^^] [ответить]  
  • +/
    Увидели барашки в далеке вкусную травку и несутся на всех парах к ней. Один умный баран увидел вдруг обрыв, встал на задние лапы, расставил передние в сторны и орет: "Бараны, стойте, вы все разобьетесь!!!"...

    > Не хочу я чего-то...

    Как думаете, что с тем умным бараном случится ?

     

  • 1.9, xsignal (ok), 22:40, 21/03/2025 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Бред, глюкодром. Перезагрузка нужна. "Семь бед - один ресет!"
     
     
  • 2.39, Аноним (39), 09:39, 22/03/2025 [^] [^^] [^^^] [ответить]  
  • +/
    Вот в этом весь си в отличии от... (не буду называть его вслух)
     
     
  • 3.48, Аноним (48), 10:57, 22/03/2025 [^] [^^] [^^^] [ответить]  
  • +2 +/
    lisp?
     
  • 3.62, xsignal (ok), 13:12, 22/03/2025 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Дело не в Си, а в том, что для реализации этой идеи нужна поддержка на уровне устройств. Если производитель не закладывал в устройство такую возможность и не тестировал это, то горячая перезагрузка ядра может приводить к появлению труднообъяснимых странных глюков, снижению стабильности системы и в итоге компьютер всё-равно придётся перезагружать.
     
     
  • 4.70, Аноним (-), 17:46, 22/03/2025 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Зачем Устройства в общем случае вывешивают весьма абстрактный интерфейс и понят... большой текст свёрнут, показать
     

  • 1.11, Аноним (10), 22:42, 21/03/2025 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Тёплая перезагрузка?
     
     
  • 2.13, BlackRot (ok), 22:56, 21/03/2025 [^] [^^] [^^^] [ответить]  
  • +4 +/
    Мягкая
     
     
  • 3.20, бочок (??), 23:34, 21/03/2025 [^] [^^] [^^^] [ответить]  
  • +/
    Мелкая
     
  • 3.50, vitalif (ok), 11:19, 22/03/2025 [^] [^^] [^^^] [ответить]  
  • +/
    Вялая
     

  • 1.12, Аноним (12), 22:52, 21/03/2025 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    Гуглярщики в этот раз паразитируют на чужих разработках. Что в тексте описано. Хотя почему в этот раз?
     
     
  • 2.37, Аноним (37), 09:25, 22/03/2025 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Перейдите по ссылке на патч, автор Kexec HandOver  - Changyuan Lyu  из Google.
     

  • 1.14, чатжпт (?), 23:14, 21/03/2025 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    чего только не придумают, лишь бы микроядро не использовать
     
     
  • 2.16, Аноним (15), 23:17, 21/03/2025 [^] [^^] [^^^] [ответить]  
  • +1 +/
    А если микроядро нужно перезагрузить?
     
     
  • 3.18, чатжпт (?), 23:27, 21/03/2025 [^] [^^] [^^^] [ответить]  
  • +2 +/
    если нужно - перезагружай
     
  • 3.38, Аноним (38), 09:31, 22/03/2025 [^] [^^] [^^^] [ответить]  
  • +/
    Танненбаум: https://youtu.be/MG29rUtvNXg?si=6S86vXq40RzXen5-&t=2378
     
  • 3.52, Аноним (-), 11:26, 22/03/2025 [^] [^^] [^^^] [ответить]  
  • +/
    > А если микроядро нужно перезагрузить?

    Мимо. Просто глянь что это.

     
  • 2.54, Аноним (-), 11:32, 22/03/2025 [^] [^^] [^^^] [ответить]  
  • +/
    А ведь это правда - микроядра вполне решают такие задачи, зачем облака я ядре Линукс? Если я конечно правильно понял новость.
     
     
  • 3.72, Аноним (-), 17:51, 22/03/2025 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > А ведь это правда - микроядра вполне решают такие задачи, зачем облака
    > я ядре Линукс? Если я конечно правильно понял новость.

    Они, к сожалению, создают взамен дофига новых проблем. Не очень то и решаемых. Например проблемы перфоманса. И в таком виде оно никому в облаках и проч не надо - ибо денег очень уж стоит. За что и идет нафиг. И желающие писать дрова в таких парадигмах - где?

     
  • 3.74, чатжпт (?), 19:13, 22/03/2025 [^] [^^] [^^^] [ответить]  
  • +/
    какие облака в ядре?! ты забыл таблетки принять или просто вообще не понимаешь о чем пишешь?
     

  • 1.17, Аноним (17), 23:19, 21/03/2025 [ответить] [﹢﹢﹢] [ · · · ]  
  • +4 +/
    А как насчёт системы перезагрузки ядра без перезагрузки ядра?
     
     
  • 2.19, Тор (?), 23:28, 21/03/2025 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Слабо вообще без ядра запускать систему ? Вот и я думаю слабо , можно сделать и тогда ядро не будет нужно
     
     
  • 3.53, Аноним (-), 11:30, 22/03/2025 [^] [^^] [^^^] [ответить]  
  • +/
    > Слабо вообще без ядра запускать систему ? Вот и я думаю слабо , можно сделать и тогда ядро не будет нужно

    Компьютеры уже были когда-то однозадачными. Это действительно работает, только усилий много нужно. Поэтому эволюция пришла к ядру.

     
     
  • 4.57, Аноним (57), 12:25, 22/03/2025 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Компьютеры уже были когда-то однозадачными

    у вас уже 1000500 ядер в цпу для 1000500 задач?

    > Поэтому эволюция пришла к ядру.

    спекуляция пришла

     
  • 3.75, Аноним (75), 19:17, 22/03/2025 [^] [^^] [^^^] [ответить]  
  • +/
    > Слабо вообще без ядра запускать систему ?

    Это называется bare metal programming - но тогда вместо обновления ядра вы будете обновлять firmware, или как вы это назвали...

     

  • 1.27, Анониссимус (?), 02:31, 22/03/2025 [ответить] [﹢﹢﹢] [ · · · ]  
  • +3 +/
    Поскорее бы уже! А то обновляться жалко. Вот сейчас на моём роутере с openwrt 207 дней аптайма. Обновлюсь -- и слетит, цифарки будут маленькие, меряться нечем будет!
     
  • 1.28, Аноним (-), 02:49, 22/03/2025 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    > позволяет полноценно перезагрузить и обновить ядро без остановки
    > работы отдельных устройств

    А вот это круто, да. Ну что, дбас, учись как надо было! :)

     
     
  • 2.32, penetrator (?), 08:19, 22/03/2025 [^] [^^] [^^^] [ответить]  
  • +1 +/
    а реально полноценно? что-то не верю, как писали выше риск глюкодрома присутствует
     
     
  • 3.81, Аноним (-), 00:54, 23/03/2025 [^] [^^] [^^^] [ответить]  
  • +/
    > а реально полноценно? что-то не верю, как писали выше риск глюкодрома присутствует

    А кто б его знает. Вот запилят - и посмотрим.

    Так то большая часть железок может быть корректно реинициализирована по многим причинам. Или можно какой-нибудь флаг передать что не надо ее уже инитить. Из глубокой спячки с poweroff основного питания железки и ос же выходят и состояние оси нормально восстанавливается, несмотря на довольно радикальную операкию.

    Скажем при STR под питанием остается по сути только оператива. И ничего, после просыпания все выглядит как будто питание и не снимали. Ну вот часы и таймауты порой да, офигевают с того что на паузу их так бесцеремонно поставили.

     

  • 1.35, Cyd (?), 08:58, 22/03/2025 [ответить] [﹢﹢﹢] [ · · · ]  
  • +3 +/
    Полезно для секты свидетелей аптайма)

    Для всех остальных нормальная перезагрузка надежнее.

    А уж в облаке какие проблемы  перезагрузить хост не прерывая гостевые машины?!

     
     
  • 2.44, Аноним (-), 10:05, 22/03/2025 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Это хорошо для коммерческих систем. Или хотите сказать что облако будет у вас в домашней сети на отдельном компьютере?
     
  • 2.45, нах. (?), 10:13, 22/03/2025 [^] [^^] [^^^] [ответить]  
  • +/
    > Полезно для секты свидетелей аптайма

    мне кажется, он при этом сбрасывается?

    > А уж в облаке какие проблемы  перезагрузить хост не прерывая гостевые машины?!

    эмюээээ... как бы эта... в общем, если это не никому ненужная васян-виртуалка с нулевым лоадом - проблема некоторым образом имеется. В масштабах гули этой - серьезная.

    Только совершенно непонятно как эта поделка ту проблему решает. Память сбрасывается, сетевые соединения рвутся, виртуалки отправляются в "suspend to disk", по сути (они при этом могут думать что это suspend to memory, но кому-то все равно сохранять на диск). Что мало отличается от предыдущего по накладным расходам, особенно если у гугли за последние 15 лет ничего не поменялось в плане того что "диски" в люстре, люстра в облачке, над облачком дух Г-день витает и светится. У них перегрузилась этим обновлениями именно основная сеть, отдельная от кластерной, и настолько что прям нннада ее беречь? (вообще-то удивлюсь если у них есть еще и отдельные сети, а не единственный сетевой адаптер на всю картонку) Или кому-то просто не хватало баллов для performance review?

    К тому же из вяликих достижений заявлено "не сбрасываются состояния устройств". Кто видел гуглевые обувные коробки - тот сильно удивлен, чего там за наносекунды экономятся, и, кстати, не следует ли такую поделку сбрасывать раз в каждые 12 часов просто для надежности? Загружаться она должна практически мгновенно, это тебе не делловский рэк.

    (который тоже не просто так по 15 минут жвалами печально перебирает, а как раз во избежание ненужных приключений потом)

     
     
  • 3.51, Аноним (-), 11:23, 22/03/2025 [^] [^^] [^^^] [ответить]  
  • +/
    А мало вариантов - Перенести синхронизировать текущее состояние на другой ком... большой текст свёрнут, показать
     
     
  • 4.55, нах. (?), 11:42, 22/03/2025 [^] [^^] [^^^] [ответить]  
  • +/
    >> Только совершенно непонятно как эта поделка ту проблему решает. Память сбрасывается,
    > А мало вариантов?
    > - Перенести (синхронизировать) текущее состояние на другой компьютер в облаке, а текущий

    вот эту проблему они вроде как и хотели решить. Для непонятливых, не видящих дальше локалхоста: это на самом деле проблема - сложно и дорого в масштабах той гули. Вон ВК даже и не стал пытаться - шмяк рубильником. А чотакова, облачка, белогривые лошарики, linear scaling, а юзер нажмет reload, в конце-то концов.

    Но совершенно непонятно, чем данное решение лучше. Все равно состояние надо сохранять а потом восстанавливать, нагрузку на это время куда-то девать... т.е. "задача сведена к предыдущей", только еще и добавились дополнительные приседания с "без переинициализации устройств", как будто это чем хорошо.

    > обновить. Будет выглядеть как небольшое подвисание на насколько секунд из-за

    не, не настолько все плохо. ;-) Но все равно нехорошо.

    > облака. С чего вы взяли что сетевое соединение порвется? Если что-то

    эммм... как бы тебе...

    > не так подымается то что работало. И тем не менее даже
    > одну сетевую карту можно использовать и из разных машин. Т.е. не
    > выключая старое соединение останется

    это фантастика

     
     
  • 5.60, Аноним (-), 12:44, 22/03/2025 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > эммм... как бы тебе...

    Вот и эмм как бы тебе. Устройство загружается с определенного адреса, но только с определенных ядер процессоров. Доступ у этих ядер до сетевых карт не нужен во время перезагрузки. А даже если и нужен то напоминаю что сетевые карты могут быть разными, в том числе и такие, которые позволяют несколько ЭВМ использовать одну. Ты когда ставишь операционную систему, у тебя доступ к сети есть. А если нужно перепрошить саму сетевую карту, то прерывание доступа будет не значительным и более того сетевых карт можно и две воткнуть и перепрошивать одну. Мало решений что-ли?

     
  • 5.61, Аноним (-), 12:48, 22/03/2025 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > это фантастика

    Посмотри реализацию протокола IP. Ты на физическом уровне ничего не меняешь. У тебя как был воткнут кабель или Wi-Fi/Li-Fi работало, так и будет работать. А на логическом все от программиста зависит

     

  • 1.43, Аноним (-), 10:02, 22/03/2025 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    Вопрос, а исходный код облака они тоже предоставят? Или на открытости Линукса можно ставить крест?
     
     
  • 2.46, гугель (?), 10:14, 22/03/2025 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Вопрос, а исходный код облака они тоже предоставят? Или на открытости Линукса
    > можно ставить крест?

    Мы вам исходный код люстры уже разок предоставили. Напомнить, что вы с ним сделали?

     
     
  • 3.59, Аноним (-), 12:35, 22/03/2025 [^] [^^] [^^^] [ответить]  
  • –1 +/
    А люстра это что? LAMP? Разве они имеют отношение к Apache, MySQL, Php?
     

  • 1.47, Аноним (47), 10:20, 22/03/2025 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Горячая перезагрузка?
     
  • 1.58, ryoken (ok), 12:35, 22/03/2025 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    xkcd 14 -> 15
     
  • 1.63, Аноним (-), 13:39, 22/03/2025 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    >систему перезагрузки ядра без остановки работы устройств

    Перезагрузка для сервера? Да вообще не проблема. Мне как-то давно преподователь хвастался, что такая-то версия вантуз-сервера может работать годами без перезагрузки. Я такой, ого интресесно! А сейчас работая с серверами не вижу ничего предосудительного в перезагрузке ОС, роутера или чего-то там вообще.

     
     
  • 2.78, Аноним (78), 23:05, 22/03/2025 [^] [^^] [^^^] [ответить]  
  • +/
    Какая то версия Вантуз сервера поддерживает так же горячую замену начинки, например озу, или видеокарты.
    Без перехагрузки.
     

  • 1.77, DroidBot (?), 22:06, 22/03/2025 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Well...
    Представим себе большую инфраструктуру. В ней есть Х сервисов типа А, Y сервисов типа B и ещё сколько-то сервисов типа С..
    Мы не же учёные, знаем профили нагрузки, держим нужные резервы. И вот мы решаем накатить обновления.
    Нам нужно разработать оркестрацию как, когда и что мы будем обновлять.
    Патч менеджмент, сегол
    дня, может быть сложным.

    И вот мы процесс запустили и он побежал. Сначала мы выжимаем процессы из 10% кластера/пула, ждём когда они мигрируют, обновляется, перезагружается. Потом берём следующие 10% и так далее. Закончили с С, начали с А. Тем же образом. Ну и в конце - В.
    Сколько, как вы думаете, это можете продолжаться по времени? А если мы "долетим" до периода пиковой нагрузки, а обновление не закончено и резервы заняты? Держать ещё резервы? Взять из временно, чтоб потом переаллоцировать?

    Короче, понятно 100% почему регулярно такие инициативы возникают.
    Если у Гугла получится, будет реально хорошо.

     
  • 1.82, Аноним (-), 01:57, 23/03/2025 Скрыто ботом-модератором [﹢﹢﹢] [ · · · ]     [к модератору]
  • +/
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2025 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру