The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Акция по тестированию журналирования Soft Updates во FreeBSD

09.01.2010 15:50

Jeff Roberson призывает всех заинтересованных энтузиастов FreeBSD принять участие в тестировании работы механизма журналирования Soft Updates (SU+J) для файловой системы UFS. Jeff подготовил патч реализующий SU+J для FreeBSD-CURRENT, а так же инструкцию и набор пожеланий для тестеров.

Для задействования патча после его наложения, необходимо пересобрать ядро и мир (в мире можно ограничиться пересборкой libufs, fsck_ffs, и tunefs), а так же отключить использование старой версии Soft Updates, и выполнение fsck в фоновом режиме. Приветсвуется использование опций отладки в ядре.

  1. Главная ссылка к новости (http://lists.freebsd.org/piper...)
  2. OpenNews: Для файловой системы FreeBSD UFS добавлена поддержка журналирования
  3. OpenNews: Официально вышел FreeBSD 7.2-RELEASE
  4. OpenNews: GEOM класс gjournal включён в состав FreeBSD
Автор новости: terminus
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/24951-freebsd
Ключевые слова: freebsd, journal, ufs
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (40) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (-), 20:07, 09/01/2010 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    лень компилировать, выложил бы FreeBSD 8.1beta
     
     
  • 2.2, hate (ok), 20:31, 09/01/2010 [^] [^^] [^^^] [ответить]  
  • –8 +/
    >лень компилировать, выложил бы FreeBSD 8.1beta

    IMHO. Никому это уже не нужно. Есть ZFS.


     
     
  • 3.3, QuAzI (ok), 21:13, 09/01/2010 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Вы возьмётесь допилить инсталлер, чтобы ZFS была по дефолту? Кросслицензируете ZFS? Дадите пару терабайт свободного места тем у кого уже давно всё на UFS крутится, чтобы перекинуть данные на ZFS?
     
     
  • 4.7, qja (?), 22:22, 09/01/2010 [^] [^^] [^^^] [ответить]  
  • +1 +/
    вот я тоже так думал, переехал на zfs, раид 10 на 4 винтах, и торрмоза на amd64 и 4 гига рамы. ufs явно шустрее был.
     
     
  • 5.8, F.Y. (?), 00:23, 10/01/2010 [^] [^^] [^^^] [ответить]  
  • +/
    Ну всего навсего не докрутил чего то, а выводы вселенского масштаба делаешь :)

    Другое дело что на железе более скромном типа мало рамы или диски маленькие - ZFS is overkill. Потому UFS нужна. Как то так...

     
     
  • 6.16, hate (ok), 11:20, 10/01/2010 [^] [^^] [^^^] [ответить]  
  • +/
    >Ну всего навсего не докрутил чего то, а выводы вселенского масштаба делаешь
    >:)
    >
    >Другое дело что на железе более скромном типа мало рамы или диски
    >маленькие - ZFS is overkill. Потому UFS нужна. Как то так...
    >

    Скромное железо пора выбрасывать. Мне лично жалко тратить свое время, например сборку чего либо, на тормозную работу на таком железе

     
     
  • 7.17, Aesthetus Animus (?), 15:06, 10/01/2010 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Скромное железо совсем не означает, что оно несовременное и место его на свалке истории. Что Вы, например, скажете об ARM9 с его скромными 200MHz? FreeBSD последнее время имеет очень сильные притязания на embedded сектор, когда они допилят ARM порт это будет очень серьезный конкурент для Линукса.

    А теперь скажите, какую файловую систему применять на подобных системах? ZFS, но она во-первых, требует чтобы размер тома был не меньше 128МB (это конечно очень мало для привычного компьютера, но это слишком избыточно для embedded), а во-вторых, для подобных решений слишком она прожорлива - разве она заработает, например, при 16 мегабайтах RAM? Плодить еще и еще файловые системы на все случаи жизни, не доводя их до уровня технологического решения - чем славится Линукс, - тоже плохая идея. Так что, идея дальнейшей шлифовки надежной, проверенной годами файловой системы, мне видется очень правильной в свете приведенных выше обстоятельств.

     
  • 7.21, аноним (?), 18:37, 10/01/2010 [^] [^^] [^^^] [ответить]  
  • +/
    > Скромное железо пора выбрасывать

    Тогда выкидывайте все свои ноутбуки, КПК и телефоны, ага.

     
  • 7.33, Aquarius (ok), 14:32, 11/01/2010 [^] [^^] [^^^] [ответить]  
  • +/
    руками собираешь?
    придешь ко мне железо выбросить?
    а что еще пора делать?
     
  • 5.9, _Bulgarin (ok), 00:57, 10/01/2010 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >вот я тоже так думал, переехал на zfs, раид 10 на 4
    >винтах, и торрмоза на amd64 и 4 гига рамы. ufs явно
    >шустрее был.

    И ACL у ZFS только в процессе докручивания... А в UFS живое - давеча ставя sambа, вздохнул ... и сделал на UFS... :(

     
     
  • 6.15, hate (ok), 11:16, 10/01/2010 [^] [^^] [^^^] [ответить]  
  • +/
    >>вот я тоже так думал, переехал на zfs, раид 10 на 4
    >>винтах, и торрмоза на amd64 и 4 гига рамы. ufs явно
    >>шустрее был.
    >
    >И ACL у ZFS только в процессе докручивания... А в UFS живое
    >- давеча ставя sambа, вздохнул ... и сделал на UFS... :(
    >

    Скоро будет ZFS v14 и ACL.

     
  • 5.13, hate (ok), 11:09, 10/01/2010 [^] [^^] [^^^] [ответить]  
  • +/
    >вот я тоже так думал, переехал на zfs, раид 10 на 4
    >винтах, и торрмоза на amd64 и 4 гига рамы. ufs явно
    >шустрее был.

    Извини, но устанавливать ZFS поверх RAID это глупость. Прочитай документацию, там все разжевано на эту тему. JBOD + ZFS = высокая производительность.

     
     
  • 6.22, аноним (?), 18:50, 10/01/2010 [^] [^^] [^^^] [ответить]  
  • +/
    > Извини, но устанавливать ZFS поверх RAID это глупость. Прочитай документацию, там
    >все разжевано на эту тему. JBOD + ZFS = высокая производительность.

    Я думал он имел в виду нормальный ZFS'ный рейд. В любом случае что-то он делает не так, потому что у меня зеркала и стрипы на ZFS работали замечательно, с честной скоростью N*скорость диска. raidz1/2 тоже не плох, но немного медленней.

     
  • 6.40, splat_pack (ok), 10:03, 13/01/2010 [^] [^^] [^^^] [ответить]  
  • +/
    >>вот я тоже так думал, переехал на zfs, раид 10 на 4
    >>винтах, и торрмоза на amd64 и 4 гига рамы. ufs явно
    >>шустрее был.
    >
    > Извини, но устанавливать ZFS поверх RAID это глупость. Прочитай документацию, там
    >все разжевано на эту тему. JBOD + ZFS = высокая производительность.
    >

    Пул делал так:

    zpool create mirror gpt/ada0p3 gpt/ada1p3 mirror gpt/ada2p3 gpt/ada3p3

    где тут глупость?

    А тормоза проявляются когда хренова туча торрентов начинает раздаваться/скачиваться. А так dd if=/dev/zero of=test bs=2M count=1000 показывает скорость на запись 100 Mб/с что вобщем-то тоже как-то не айс. Особо ничего не тюнил кроме включения prefetch.

     
  • 4.12, hate (ok), 11:06, 10/01/2010 [^] [^^] [^^^] [ответить]  
  • +/
    >Вы возьмётесь допилить инсталлер, чтобы ZFS была по дефолту?

    Не вижу пока в этом необходимости. Система ставиться при помощи LiveCD  очень просто.


    >Кросслицензируете ZFS?

    Зачем?


    >Дадите
    >пару терабайт свободного места тем у кого уже давно всё на
    >UFS крутится, чтобы перекинуть данные на ZFS?

    Перекидывается все очень просто. Почитайте документацию и подумайте.

     
     
  • 5.19, аноним (?), 16:00, 10/01/2010 [^] [^^] [^^^] [ответить]  
  • +/
    >>Вы возьмётесь допилить инсталлер, чтобы ZFS была по дефолту?
    >
    > Не вижу пока в этом необходимости. Система ставиться при помощи LiveCD
    > очень просто.

    т.е. раз вы ставитесь с лайфсд, то и все должны ставиться с лайфсд?
    я конечно понимаю, что для реальных пацанов сисинстал не нужен, да и вообще реальные пацаны привыкли в голове пересчитывать кол-во блоков на гигабайты, а гигабайты в блоки, но не нужно свои реальные подвижки навязывать народу.

     
     
  • 6.23, аноним (?), 18:57, 10/01/2010 [^] [^^] [^^^] [ответить]  
  • +/
    >т.е. раз вы ставитесь с лайфсд, то и все должны ставиться с
    >лайфсд?

    А почему нет-то? Вам что важнее, ZFS или sysinstall?

    >я конечно понимаю, что для реальных пацанов сисинстал не нужен, да и
    >вообще реальные пацаны привыкли в голове пересчитывать кол-во блоков на гигабайты,
    >а гигабайты в блоки

    Не над чем тут смеяться, разве только над вами. sysinstall действительно убог, и ставить руками проще и быстрее, если знать как. Разберетесь до конца в процессе установки - тоже сможете, не переживайте.

    >но не нужно свои реальные подвижки навязывать народу

    А никто не навязывает, народ и так жрет гoвнецо, что дают - посмотрите вокруг. Только и ждать вас никто не намерян.

     
  • 6.27, _Bulgarin (ok), 00:42, 11/01/2010 [^] [^^] [^^^] [ответить]  
  • +/
    >> Не вижу пока в этом необходимости. Система ставиться при помощи LiveCD
    >> очень просто.
    >т.е. раз вы ставитесь с лайфсд, то и все должны ставиться с лайфсд?

    Если ZFS нужна, а в sysinstall опции нет, у вас есть выбор
    1 дописать sysinstall
    2 ждать пока допишет кто-то
    3 установить с живой системы.

    Все остальное - эмоции. По мне - уже забыл когда пользовался инсталятором, все довольно просто. Инсталятор нужен новичкам, это правда. По шагам провести. Иначе трудно разобратся, а если еще и новая понятийная система, то все как в тумане...

     
  • 5.29, QuAzI (??), 10:36, 11/01/2010 [^] [^^] [^^^] [ответить]  
  • +/
    >>Вы возьмётесь допилить инсталлер, чтобы ZFS была по дефолту?
    >
    > Не вижу пока в этом необходимости. Система ставиться при помощи LiveCD
    > очень просто.

    Надо либо постоянно держать при себе мануалку "как", либо быть психопатом и заучить как молебен это HOWTO. Вы чем пользуетесь? Можно конечно накропать скрипточек "для себя родимого", но там было пара неоднозначных моментов, которые надо всё-таки руками докручивать.

    >>Кросслицензируете ZFS?
    >
    > Зачем?

    Затем что лицензия CDDL.

    >>Дадите
    >>пару терабайт свободного места тем у кого уже давно всё на
    >>UFS крутится, чтобы перекинуть данные на ZFS?
    >
    > Перекидывается все очень просто. Почитайте документацию и подумайте.

    Ткните носом, читал, много читал, нигде не видел чтобы UFS можно было сконверать в ZFS и точно знаю что это невозможно по техническим причинам. Ну никак без лишнего винта.

     
     
  • 6.31, hate (ok), 11:02, 11/01/2010 [^] [^^] [^^^] [ответить]  
  • +/
    >>>Вы возьмётесь допилить инсталлер, чтобы ZFS была по дефолту?
    >>
    >> Не вижу пока в этом необходимости. Система ставиться при помощи LiveCD
    >> очень просто.
    >
    >Надо либо постоянно держать при себе мануалку "как", либо быть психопатом и
    >заучить как молебен это HOWTO. Вы чем пользуетесь?

    Я психопат с толстым бумажным блокнотом в который иногда заглядываю. :)


    > Можно конечно накропать
    >скрипточек "для себя родимого", но там было пара неоднозначных моментов, которые
    >надо всё-таки руками докручивать.

    Ну да, ногами не получится. :)

    >>>Кросслицензируете ZFS?
    >>
    >> Зачем?
    >
    >Затем что лицензия CDDL.

    Тебя это беспокоит, хочешь об этом поговорить? :)

    >>>Дадите
    >>>пару терабайт свободного места тем у кого уже давно всё на
    >>>UFS крутится, чтобы перекинуть данные на ZFS?
    >>
    >> Перекидывается все очень просто. Почитайте документацию и подумайте.
    >
    >Ткните носом, читал, много читал, нигде не видел чтобы UFS можно было
    >сконверать в ZFS и точно знаю что это невозможно по техническим
    >причинам. Ну никак без лишнего винта.

    А никто и не говорил, и кстати не обещал, и нигде не написано что можно конвертировать. Это тебе так хочется.
    Я тебе предложил вариант при котором после прочтения нужно включить мозг и подумать. Тогда все получится. Я переходил на ZFS с UFS и не потерял ничего. А держать резервные винты у тебя не принято?

     
  • 3.10, аноним (?), 09:13, 10/01/2010 [^] [^^] [^^^] [ответить]  
  • +1 +/
    умникам, вроде вас, может и не нужно, а мне, в первую очередь, необходимы квоты нормальные.
     
     
  • 4.14, hate (ok), 11:12, 10/01/2010 [^] [^^] [^^^] [ответить]  
  • +/
    >умникам, вроде вас, может и не нужно, а мне, в первую очередь,
    >необходимы квоты нормальные.

    Квоты есть и работают.


    tank/usr/home  mounted               yes                   -
    tank/usr/home  quota                 100G                  local
    tank/usr/home  reservation           none                  default

     
     
  • 5.18, аноним (?), 15:51, 10/01/2010 [^] [^^] [^^^] [ответить]  
  • +/
    я посмотрел бы на вас когда у вас полторы тысячи таких вот квот и вы даете команду df. а какой-нить DirectAdmin или CPanel когда осилят такие квоты? или раз нету - значит и не нужно, на свалку вместе с UFS? а мягкие квоты как организовать на zfs? а кол-во инодов как ограничить?
     
     
  • 6.24, аноним (?), 19:03, 10/01/2010 [^] [^^] [^^^] [ответить]  
  • +/
    >я посмотрел бы на вас когда у вас полторы тысячи таких вот
    >квот и вы даете команду df

    И в чем проблема?

    >а какой-нить DirectAdmin или CPanel когда осилят такие квоты?

    CPanel осилит

    >а мягкие квоты как организовать на zfs?

    Прочитайте man zfs, кейворды quota и reservation.

    >а кол-во инодов как ограничить?

    Ограничение инодов осталось в прошлом веке. В ZFS иноды выделяются динамически и идут в общую юзерскую квтоту.

     
     
  • 7.25, аноним (?), 21:02, 10/01/2010 [^] [^^] [^^^] [ответить]  
  • +/
    >>я посмотрел бы на вас когда у вас полторы тысячи таких вот
    >>квот и вы даете команду df
    >И в чем проблема?

    в кол-ве строк. мне мало интересно как и насколько юзер выгребает свою квоту, а вот насколько забиты разделы - важно и поиск в бедламе меня не очень радует. zpool list - не помогает, потому что у меня может быть фс tank/usr размер которой я видеть хочу и tank/user1 - размер которой я видеть не хочу, а что-нить типа: df | egrep 'usr$' - костыль.

    >>а какой-нить DirectAdmin или CPanel когда осилят такие квоты?
    >
    >CPanel осилит

    пускай осиливает, но пока этого нет, насколько я знаю (DirectAdmin-е уж точно и родят они такое, по опыту общения с ними, очень не скоро), а кроме этих двух панелей есть еще...

    >>а мягкие квоты как организовать на zfs?
    >
    >Прочитайте man zfs, кейворды quota и reservation.

    читал и отлично знаю. встречный вопрос, а вы знаете что такое soft quota и grace режим? советую почитать.

    >>а кол-во инодов как ограничить?
    >
    >Ограничение инодов осталось в прошлом веке. В ZFS иноды выделяются динамически и
    >идут в общую юзерскую квтоту.

    если таблица инодов не фиксированная, то это еще не значит, что отпала необходимость в ограничении кол-ва инодов на морду юзера.
    т.е. вы не представляете ситуации когда нужно юзера ограничивать по кол-ву созданных файлов, каталогов, пайпов...?

     
     
  • 8.34, аноним (?), 17:28, 11/01/2010 [^] [^^] [^^^] [ответить]  
  • +/
    df tank usr, zfs list tank usr Я имел в виду что уже видел cpanel с поддержкой z... текст свёрнут, показать
     
     
  • 9.37, аноним (?), 07:48, 13/01/2010 [^] [^^] [^^^] [ответить]  
  • +/
    ох если вы помните из сотни серверов где и как сделаны разделы - вы прямо чуд... текст свёрнут, показать
     
  • 9.38, аноним (?), 08:03, 13/01/2010 [^] [^^] [^^^] [ответить]  
  • +/
    много направишь и напилишь в закрытом коде, ага а панель у вас не принято обнов... текст свёрнут, показать
     
     
  • 10.43, ещ один аноним (?), 20:00, 30/01/2011 [^] [^^] [^^^] [ответить]  
  • +/
    100500 и 10млн файлов - разные вещи... текст свёрнут, показать
     
  • 3.39, andr.mobi (??), 09:53, 13/01/2010 [^] [^^] [^^^] [ответить]  
  • +/
    > IMHO. Никому это уже не нужно. Есть ZFS.

    не на каждой машине гигабайты озу, чтобы зетфс юзать. а как например смонтировать зпул из другой оси? уфс-раздел можно юзать, загрузифшись с флоппика. когда возникла потребность переехать на другой винт я так натрахался, что отформатировал его в уфс по старинке - и не парюсь больше. работает старушка на ура.

    т.е. зутфс вещь хорошая, пока не надо её админить. там есть хренова туча крутых фичь, которые не нужны в повседневной практике (я например никогда не пользовался т.н. "снэпшотами" и даже не могу придумать, зачем бы это мне когда потребовалось), а вот для решения реально возникающих производственных задач надо иметь три руки, четыре глаза и неделю времени на перетрах.

     
     
  • 4.42, hate (ok), 13:58, 14/01/2010 [^] [^^] [^^^] [ответить]  
  • +/
    >> IMHO. Никому это уже не нужно. Есть ZFS.
    >
    >не на каждой машине гигабайты озу, чтобы зетфс юзать. а как например
    >смонтировать зпул из другой оси?

    Что за бред? Зачем?


    > уфс-раздел можно юзать, загрузифшись с флоппика.

    А с магнитофона и касеты MK-60 не пробовал?
    Что за извраты? Изучи работу с LiveCD.


    >когда возникла потребность переехать на другой винт я так натрахался, что
    >отформатировал его в уфс по старинке - и не парюсь больше.
    >работает старушка на ура.

    Не знание и не умение работать с ZFS. Твои проблемы.



    >
    >т.е. зутфс вещь хорошая, пока не надо её админить.

      Ржунимагу. :)))  

    > там есть хренова
    >туча крутых фичь, которые не нужны в повседневной практике (я например
    >никогда не пользовался т.н. "снэпшотами" и даже не могу придумать, зачем

      Ну тут я вообще выпал. :)))


    >бы это мне когда потребовалось), а вот для решения реально возникающих
    >производственных задач надо иметь три руки, четыре глаза и неделю времени
    >на перетрах.

    Кто тебя вообще пустил решать какие либо производственные задачи?
    Иди учись. Не позорься.


     

  • 1.5, Аноним (-), 21:31, 09/01/2010 [ответить] [﹢﹢﹢] [ · · · ]  
  • +10 +/
    для десктопа ZFS жирно будет, а SU+J давно нужен
     
     
  • 2.11, hate (ok), 11:02, 10/01/2010 [^] [^^] [^^^] [ответить]  
  • –1 +/
    >для десктопа ZFS жирно будет, а SU+J давно нужен

      Не нужно сказок. Я начинал работать с ZFS со дня ее появления в седьмой ветке, и имел на тестовом десктопе 1G ОЗУ. И мыслей "жирно" у меня не возникало. Теперь же у меня целый парк
    машин с различными объемом памяти (2G минимум)и все на ZFS и сервера и десктопы с KDE4, и опять же мыслей "жирно" нет. UFS не использую вообще на FreeBSD, ZFS великолепно умеет бутиться со своего пула.

     
     
  • 3.20, Karpion (ok), 18:08, 10/01/2010 [^] [^^] [^^^] [ответить]  
  • +6 +/
    Лично мне крайне не нравятся системы, не способные шустро работать на 256 мегабайтах памяти. Для простенького сервера DHCP+DNS+NAT+Squid+SendMail+QPopper со слабой нагрузкой этой памяти вполне хватает, и мне не хочется только ради файловой системы наращивать память до гигабайта. Я вообще не понимаю, почему файловая система хочет так много памяти и накладывает жёсткие ограничения на наименьший размер диска.
     
     
  • 4.26, Аноним (-), 22:41, 10/01/2010 [^] [^^] [^^^] [ответить]  
  • +/
    >почему файловая система хочет так много памяти и накладывает жёсткие ограничения на наименьший размер диска

    Ынтырпрайз, продакшен

     
     
  • 5.35, Warhead Wardick (?), 18:49, 11/01/2010 [^] [^^] [^^^] [ответить]  
  • +/
    Да брось ты, просто Current commodity hardware capabilities.
    Вот и вся причина.
    Уже невозможно купить пицук меньше чем с гигом рамы и диском менее 500GB. Пока за пару лет обкатают уже в телефонах столько будет.
     
  • 3.28, QuAzI (??), 10:25, 11/01/2010 [^] [^^] [^^^] [ответить]  
  • +/
    >UFS не использую вообще на FreeBSD, ZFS великолепно умеет бутиться со своего
    >пула.

    Вас почитать, так поддержка ZFSboot допиленная в 8-ой ветке появилась ещё в 6-ой?

     
     
  • 4.30, hate (ok), 10:52, 11/01/2010 [^] [^^] [^^^] [ответить]  
  • +/
    >>UFS не использую вообще на FreeBSD, ZFS великолепно умеет бутиться со своего
    >>пула.
    >
    >Вас почитать, так поддержка ZFSboot допиленная в 8-ой ветке появилась ещё в
    >6-ой?

      Я это не говорил. Когда не было бута с пула жил себе бутовый раздел на UFS.
    Но это было давно. Это уже не актуально, обсуждать нечего.

     

  • 1.32, mnu (??), 13:55, 11/01/2010 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Matthew Dillon: "Kudos on the work!  But for gods sakes implement proper disk synchronization mechanics!"

    http://leaf.dragonflybsd.org/mailarchive/kernel/2010-01/msg00005.html

    comments?

     
     
  • 2.36, xxx (??), 22:12, 11/01/2010 [^] [^^] [^^^] [ответить]  
  • +/
    Извини, я смог только мельком прочитать письмо Диллона. Насколько я понял он видит основную проблему в том, что может произойти порча как метаданных, так и данных для журнала, во время когда они находятся в аппаратном кэше диска или контроллера, например во время потери питания. На что он резонно предлагает проводить синхронизацию, т.е убеждаться в том, что данные записаны на диск. Либо как другой вариант - использование fsck.
    Подобный вопрос поднимал в списках рассылки Александр Мотин: http://lists.freebsd.org/pipermail/freebsd-current/2010-January/014819.html
    На что Jeff ответил, что если хотите надёжности используйте правильное железо, либо fsck, которую при использовании SU + Journal никто не отменял. Также он добавил, что проблема есть и он подумает над "proper disk synchronization mechanics".

    Мэтт, на мой взгляд, судя по его делам мыслит мегаглобально, впрочем это его достоинство, а не недостаток. Поэтому он сделал форк FreeBSD, монстра HAMMER и т. д. Разработчики FreeBSD, по моим наблюдениям предпочитают вносить изменения более плавно, рассчитывая свои силы и ресурсы, видимо крутой поворот во времена 5-й ветки научил.

    То что сейчас делает Jeff, это совсем не то журналирование, что используется в ext3 или gjournal. Это более простая примочка к Soft Updates. Видимо сил и времени хватает пока только на это, иначе я удивлён почему внедрение журналирования в NetBSD вызвало так мало интереса.

     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру