Фермерское криптохозяйство: как выращивают биткойны в промышленных масштабах

Криптовалютный ажиотаж привел к созданию новых типов вычислительных кластеров — специальных ферм для майнинга. Пока ваш сосед выкидывает хлам с балкона и копит на новый GTX, ребята из New Mining привлекают инвесторов и собирают 40-футовые контейнеры, начиненные специализированным оборудованием для круглосуточной добычи биткойнов. Сквозь рев вентиляторов мы достучались до этих предприимчивых энтузиастов и зашли посмотреть, что да как.

В дата-центр для промышленного майнинга сразу не зайдешь. Здесь, как в космическом корабле, предусмотрен шлюзовой отсек. Если соединить лестницу и машинный зал одной дверью, то поток воздуха снесет все, что плохо лежит.
Перед поездкой мы думали, что увидим все оборудование прямо в контейнере, готовом к транспортировке в любую точку мира. Но пока что ферма работает в помещении. Поэтому начнем мы с рассказа про инфраструктуру в нынешнем виде, а потом — про то, как New Mining может создать такую же в чистом поле.
Оборудование New Mining размещается в небольшом зале. На первый взгляд кажется, что этот хаос из проводов не поддается никакой логике, но на самом деле схема здесь несложная. В шкафах расставлено множество майнеров — устройств на основе интегральных схем специального назначения (ASIC). По сути, эти схемы близки к обычным процессорам, но умеют выполнять только определенные вычисления — в данном случае, необходимые для майнинга криптовалют. В этих вычислениях АСИКи достигают КПД в районе 98% — это в 2-3 раза выше, чем у видеокарт, не говоря уже об обычных процессорах.
New Mining использует три модели АСИКов: Canaan AvalonMiner 741, 821 и Bitmain Antminer S9.
Canaan AvalonMiner 741 и 821 — это черные монолитные блоки, последовательно соединенные в ряд. У них нет дополнительной начинки, есть только то, что необходимо для вычислений. Цепочка «авалонов» через конвертер по обычному microUSB-кабелю соединяется с контроллером и передает ему результаты вычислений — хеши.
Второй тип АСИКов — это Bitmain Antminer S9, более мощные и дорогие модели по сравнению с «авалонами». AvalonMiner 741 и 821 выдают 7,3 и 11 ТХ/с (терахешей в секунду), а Antminer S9 — 14 терахешей в секунду.
На терминале есть вся информация по устройствам, а также данные по общему доходу. Пока что в шахтах New Mining добывают только BTC (биткойны) — самую востребованную и распространенную криптовалюту.
Фермы постоянно передают результаты своих вычислений в интернет. Учитывая количество устройств, можно подумать, что для этого нужен широкий канал связи. На самом деле ферма New Mining суммарно требует не более 50 Мбит/с в самые горячие часы. Такую скорость можно обеспечить без всяких проводов.
Электропитание
Сложность обслуживания инфраструктуры напрямую зависит от сложности самой инфраструктуры. ASIC-ферма устроена гораздо проще, чем обычный ЦОД, — с ним мы бы закопались еще на описании стоек. Центры обработки данных два-три раза зарезервированы по всем компонентам: имеют несколько провайдеров связи, поставщиков электричества и ГСМ для аварийных генераторов, задублированы системы безопасности, видеонаблюдения и многое другое.
Для ASIC-ферм ничего подобного не нужно. Достаточно третьей категории надежности электроснабжения — как для жилых домов. На случай перепадов и помех в сети есть реле напряжения. Оно фиксирует нестабильность в электропитании и мгновенно обесточивает все оборудование, пока не восстановится нормальное напряжение. Затем инженеры New Mining осматривают все системы, проверяют, все ли в порядке, и включают питание вручную.
Кошмарам про аварии на ЦОД здесь не место — на ASIC-фермах не хранятся никакие данные, все результаты вычислений сразу отправляются в сеть. За все время работы ферма New Mining простаивала из-за электричества лишь несколько минут — был скачок со стороны подстанции. Тогда реле напряжения сработало как полагается, ответственный инженер перезапустил питание и проблем не возникло.
Охлаждение
С одной стороны, ASIC греются больше, чем обычные процессоры. С другой стороны, их площадь тоже больше, так что тепло рассеивается лучше. После экспериментов с разными типами охлаждения в промышленном майнинге пришли к выводу, что эффективней всего обходиться обычным воздухом.
Весь зал фермы New Mining — это большая вентиляционная камера. Воздух поступает через оконные проемы в уличной стене. Они плотно заткнуты фильтрующим материалом.
Просочившись через стойки с оборудованием, теплый воздух выходит с другой стороны зала, где ему помогает пара больших вентиляторов.
В условиях, когда оборудование резко нагревается по отношению к окружающей среде, возникает риск образования конденсата на электронных компонентах — проблема «точки росы». Чтобы этого избежать, в New Mining перед запуском майнеров герметизируют помещение и прогревают его тепловыми пушками. В таком случае конденсат точно не образуется.
Если естественного охлаждения недостаточно, на АСИКах увеличивают скорость работы вентиляторов. Постоянная и предсказуемая нагрузка кристаллов позволяет легко прогнозировать изменение их температуры и избегать проблем.
Единственная альтернатива естественному обдуву, которую всерьез рассматривали в New Mining, — помещать майнеры в емкости с трансформаторным маслом. В нем короткого замыкания не происходит, так как масло является диэлектриком. При этом тепло рассеивается эффективней, чем при воздушном охлаждении. Но появляются новые проблемы. Нужно охлаждать масло, закупать помпы, чиллеры и гору оборудования. В итоге эту идею забросили.
Другие стандартные системы
Из остальных обслуживающих систем для промышленного майнинга наиболее критична пожарная. Принцип у нее тот же, что и у электропитания: лучше вообще не рисковать. При срабатывании сигнализации прекращается вся подача питания, помещение герметизируется и внутрь поступает газ, вытесняющий кислород — хладон.
Для защиты от недоброжелателей фермы устанавливают в огороженном периметре, с охраной, видеонаблюдением, высокими заборами и системой контроля доступа. Желательно подальше от дорог и жилых объектов — где-нибудь в промышленной зоне.
Система контейнерная, оригинальная
Все, что мы показывали выше, умещается вот в такую 40-футовую коробку. Длина — около 12 метров, ширина и высота — примерно 2,5 м. На первый взгляд, перед нами стандартный морской контейнер, но New Mining сделала из него кое-что поинтересней.
Контейнер от New Mining позволит размещать оборудование в любой подходящей климатической зоне. В промышленном майнинге такие зоны определяются по нескольким факторам. Учитываются цены на электричество и его доступные объемы — здесь у ASIC-ферм аппетиты не ограничены. А также важна безопасность — например, в городах потенциал у систем электроснабжения большой, но тесное соседство с людьми может привести к неприятным инцидентам. Пока что ферма New Mining развернута в одной из московских промзон, но в будущем все оборудование вместе с контейнером переедет подальше от больших городов.
Комментарии 54
  • +2
    тесное соседство с людьми может привести к неприятным инцидентам

    А были уже случаи? Завистливые соседи, не вложившиеся в свое время в биткоины, вламывались в майнинг-центр и крушили все по принципу «так не доставайся же ты никому»?
    • НЛО прилетело и опубликовало эту надпись здесь
    • 0
      пора бы уже производителям ASIC устройств делать их для монтажа в стандартную 19" стойку. Как ни посмотрю фотки чьих либо ферм — везде колхоз из проводов.
      • +1
        Бизнес-однодневка.

        «Горизонт планирования» у китайских майнеров (а это таки мейнстрим) — пол-года/год, отбить оборудование + какой-то навар сверху. А там хоть потоп и колхоз на свалку.
        • НЛО прилетело и опубликовало эту надпись здесь
        • +1
          интересно, asic с точки зрения криптоустройства (шифрования) сертифицирован к ввозу на территорию РФ? а то даже некоторые телефоны не привезти, а тут просто гора оборудования. У нас ведь пока нет закона о критовалюте и асик очень узкоспециальная вещь, как его удалось протащит через границу, да еще в таких промышленных объемах?
          • +2
            «Промышленный обогреватель 2КВт, 200шт.»
            p.s. Да и само по себе хэширование ≠ шифрование
            • 0

              ASIC ведь не занимается никаким шифрованием. В Биткоине вообще шифрование не используется.

              • 0
                Очень любопытная антиномия, природа которой сокрыта в способности понимать другие формы мыслящей материи.
                1) в слове «криптовалюта» есть такая забавная часть, как «крипто»
                2) ASIC не занимается шифрованием, с Ваших слов. Он *просто* вычисляет криптографически стойкую одностороннюю функцию быстрее всех :)

                Михаил Любый и Чарльз Ракофф в 1984 году опубликовали метод эффективного синтеза псевдослучайного инвертируемого шифратора на базе псевдослучайных функций. Но, в те годы им и в голову не могло прийти, что одноразовый шифроблокнот на 60TB в 2018 г. может стоить каких-то $50k...$60k и ехать за границу в обычном ноутбуке.
              • НЛО прилетело и опубликовало эту надпись здесь
                • –1
                  Снимаю шлюпу, ребята Вы реально круты.
              • +6
                Меня дернуло пока читал пару раз. «КПД в районе 98%». По какой формуле считали?

                Аналогично по поводу тепловых пушек. Конденсат образуется на предметах, имеющих температуру ниже, чем у воздуха. Ну либо при 100% влажности — на любых предметах. На более теплом, чем воздухе, предмете, конденсат почти не может образоваться.
                Поэтому единственный вариант, когда может потребоваться обогрев помещения — это если там было тепло и влажно. Потом электричество выключилось, зал остыл и все в нем намокло. Потом чтобы запустить оборудование — да, надо будет сушить.
                • +2
                  В условиях, когда оборудование резко нагревается по отношению к окружающей среде, возникает риск образования конденсата на электронных компонентах — проблема «точки росы». Чтобы этого избежать, в New Mining перед запуском майнеров герметизируют помещение и прогревают его тепловыми пушками. В таком случае конденсат точно не образуется.

                  Все таки риск возникновения конденсата появляется когда теплое помещение с оборудованием остывает(по-этому его и приходиться обратно нагревать перед включением), а не когда холодное оборудование в холодном помещении начинает нагреваться.
                  • 0
                    В условиях, когда оборудование резко нагревается по отношению к окружающей среде, возникает риск образования конденсата на электронных компонентах — проблема «точки росы».


                    Конденсат образуется при заносе холодного предмета в теплое помещение. При влючении горячего и оборудования в холодном помещении такой проблемы нет.
                    • +1
                      Ещё для майнинг-ферм в контейнерах есть вариант не платить за аренду земли.

                      image
                      • +1
                        И термин «цифровые пираты» обретет уже классический смысл
                        • +3
                          15 BTC на контейнер мертвеца, йо-хо-хо, и бутылка рому!
                          Майни, и Накамото тебя доведет до конца, йо-хо-хо, и бутылка рому!
                        • +3
                          Лучше всего на ядерных ледоколах ставить — и электричество есть, и охлаждать просто.
                          • 0
                            А если он будет за собой подводный кабель тянуть — можно еще и на прокладке денег заработать.
                        • +2

                          Так слащаво написано…


                          В то же время фразы "Блоки питания установлены прямо за майнерами — удобно и просто." немного смущают. На Хабре много людей, которые в курсе, зачем делают корпуса и качественно прокладывают кабели. А здесь как-то сопливо, под стать подключению по microusb (который сам от вибрации умеет отключаться и не имеет фиксации).


                          А пост о чем — как промышленными мерами задирают планку сложности майнинга ещё немного выше?

                          • 0
                            Пора бы уже запретить эту глупость на корню…
                            • +1
                              Запрещать наше все [/sarcasm off]
                              • –1
                                Значит по вашему нужно разрешить всё? Проституцию, наркотики, детскую порнографию…

                                Просто многие пока не понимают куда мир вляпался с этой криптовалютой…
                                • 0

                                  Наркотики и проституцию однозначно разрешить, а касательно цп: наказывать надо не за неё, а за насилие над малолетними.

                            • 0

                              Корпуса денег стоят, а тут отбить оборудование быстрее надо, не до жиру.

                              • 0

                                Тогда не надо писать неправду, я об этом

                              • +1
                                Ну так спешат ребята, нужно побыстрее контейнер хоть один отгрузить.
                                • 0

                                  А в чем прикол именно контейнера? Да, вещь в себе, но вообще требует куда более серьезной инженерной работы по проектированию, в т.ч. охлаждения, да и не комильфо просто взять стеллаж из соседнего строймагазина, накидать на полки железо, соединить на живую, и продать как нечто серьезное.
                                  Впрочем, тот, кто купит, будет ссзб, либо у него будут оооочень серьезные резоны такое купить.
                                  Помнится, мобильные ДЦ от того же HP стоили как самолёты, но там и было за что платить.

                              • 0
                                Вот объясните мне плизз, почему фальшивомонетчиков сажают по всему миру, а майнеров нет?
                                • +1
                                  А что по вашему мнению они подделывают? Может и всех детей начиная с детского сада сажать, за то что они товарным обменом занимаются?)
                                  • +3

                                    Может потому, что майнеры не подделывают валюты выпускаемые центробанками?

                                    • +1
                                      Ещё вопрос — почему преступников сажают (тех, кого таковыми считают), а остальных — нет?
                                    • 0
                                      Банк России 27 января 2014 года решил предупредить граждан и юридических лиц, что услуги по обмену виртуальных валют (имеет ввиду криптовалютыenlightened )на рубли, иностранную валюту и товары будут рассматриваться, как потенциальная вовлеченность в осуществление сомнительных операций в соответствии с законодательством о противодействии легализации (отмыванию) доходов, полученных преступным путем, и финансированию терроризма.

                                      Просто пока есть причины по которым майнеров не трогают, но я уверен что и до майнеров доберутся.
                                      • +2
                                        сомнительные операции != незаконные операции
                                        потенциальная вовлечённость != реальная вовлечённость
                                        расчёт чисел != отмывание доходов и финансирования терроризма

                                        Текст этого предупреждения — просто образец сомнительного запутывания с потенциальной целью запугивания.
                                        • 0
                                          Перешлите эту цитату Сбербанку, он видимо не знает об этом, раз использует в своих разработках Ethereum, да ещё и состоит в Enterprise Ethereum Alliance.

                                          И да, Банк России уточнял, что речь идёт только об обмене криптовалюты на рубли.
                                          Другими словами, можете свободно продавать криптовалюту за доллары, а уже их потом менять на рубли.
                                          • +1
                                            Либо вы не поняли о чём я, либо просто не желаете понимать, второе намного хуже!!!
                                            • +1
                                              Я Вас прекрасно понял, так как уже много лет с любопытством слежу за данным направлением.
                                              Просто, в отличии от Вас, я анализирую всю информацию, включая все последующие заявления центробанка.

                                              01.02.2018:

                                              «Мы предлагаем майнинг на территории РФ разрешить. Для нас это вид деятельности, который можно поддержать. С точки зрения налогообложения и с точки зрения контроля и отчетных форм детали будут раскрыты в нормативных документах. При этом вопрос, каким образом майнеры будут обменивать то, что они намайнили, остается дискуссионным. Мы, как Банк России, считаем, что они все же должны это делать не на территории России» — Ольга Скоробогатова, председатель ЦБ.
                                              • 0
                                                Да, мысль здравая, просто потому, что биткоин запретить можно только всем миром. Точнее 51% мира )))
                                                Согласно старой доброй мудрости: «не можешь что то изменить, пытайся возглавить», наиболее верным путём кажется резонно включиться в гонку за потребление ресурсов на сущность не от мира сего, живущую виртуально, как продукт общественного сознания, в умах независимых людей, но… как же без но, да? )
                                                Когда есть пути интересней, перспективней, экологичней, открывающие невероятные горизонты возможностей, реальные шансы внести свою лепту в пресловутое «сделать мир лучше», заработав на этом при этом не меньше, я конечно останусь признателен Сатоши за вклад, но уж увольте, я себя слишком уважаю, что бы рваться к устаревшей версии шедевра, только потому что ааааааа! баблоооооо! — я оставлю биток вот таким вот хапугам, а сам погружусь воодушевлённо лучше в openledger, hyperledger, exonum, eos, и хрен с ним, даже в эфир, а то PoW, что кому то сокровища, для меня === «Hellow world»
                                                А вот откладывание решения возглавить обмен крипты на фиат и обратно, нашими избранниками, мне действительно не понятно, эй народ, если Вы это прочтёте, проснитесь уже — набирает обороты обнала крипты через тор кладами, Вы реально хотите озолотить тех, кому плевать на Ваши законы, прежде чем их принять?
                                          • +1
                                            Вы читаете то, что цитируете?
                                            Банк России 27 января 2014 года решил предупредить граждан и юридических лиц, что услуги по обмену виртуальных валют (имеет ввиду криптовалютыenlightened )на рубли, иностранную валюту и товары будут рассматриваться, как потенциальная вовлеченность в осуществление сомнительных операций в соответствии с законодательством о противодействии легализации (отмыванию) доходов, полученных преступным путем, и финансированию терроризма.

                                            Майнеры то как с этим связаны?
                                          • +2
                                            Странные вы ребята. Опубликовали статью на популярном ресурсе, указали контактные данные и все… На почту не отвечаете, трубки не берете.
                                            В чем смысл работы?
                                            Фэйк?
                                            • 0
                                              Заняты. Майнят.
                                              • НЛО прилетело и опубликовало эту надпись здесь
                                              • +1
                                                Как я понимаю в такой готовый контейнер нужно поставить асики и включить в розетку. Так?

                                                А сколько стоит такой контейнер? Под заказ делаете или есть в свободной продаже? Если под заказ — какой срок изготовления и какой % предоплаты?
                                                • +1
                                                  На авито умельцы какую хошь ферму соберут. Другой вопрос, почему сами не майнят…
                                                  • +1

                                                    Почему вы думаете что не майнят? Одно другому не мешает. Собрал ферму, майнишь и продаёшь её и новые собираешь.
                                                    Глупо иметь ферму и не майнить на ней, пока продаёшь.

                                                    • НЛО прилетело и опубликовало эту надпись здесь
                                                    • НЛО прилетело и опубликовало эту надпись здесь
                                                    • +2
                                                      А также важна безопасность — например, в городах потенциал у систем электроснабжения большой, но тесное соседство с людьми может привести к неприятным инцидентам.

                                                      На самом деле, чем дальше от крупного города, тем проблем с безопасностью для такого объекта наоборот больше.
                                                      Бояться такому бизнесу надо не соседства малолетних гопников или алкаша дяди Васи — от этих личностей хватит обычного охранника. А вот ребятам посерьезней куда проще осуществить вооруженный налет на компактный объект напичканный дорогущим оборудованием где-то в глуши, чем там куда быстро приедет полиция\ЧОП по тревожной кнопке.

                                                      • +1
                                                        Причем контейнер очень удобен для транспортировки. Наверно проще его целиком вывезти, чем оборудование из него вытаскивать.
                                                        • +1
                                                          Да немного странно про безопасность.
                                                          Вообще мобильный он условно, он же в рабочем состоянии полностью открыт.
                                                          Т.е. вокруг должно быть полноценное здание, охрана и т.п.
                                                          Не так что в поле под ЛЭП закинул и майнишь :)
                                                          • НЛО прилетело и опубликовало эту надпись здесь
                                                          • –1
                                                            Для транспортировки на дальние расстояния конечно очень хорошо продумано, очень кстати перспективное направление в создании ферм в промышленных масштабах, притом что можно создавать несколько уровней если потолок высокий а площадь не позволяет сильно раскинуться и это будет удобно.

                                                            Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.