Как владельцы сайтов обходят блокировку?
Говорят, что против лома нет приема, если нет другого лома. Вот и владельцы сайтов пополнили арсенал противостояния Роскомнадзору несколькими популярными в виртуальном мире инструментами. Последние хоть и не являются в полном смысле аналогом лома, но не менее действенны. Рассмотрим некоторые из них — те, что взяли на вооружение владельцы сайтов азартных игр.
- Давно и всем известная система использования зеркал сайта. Владельцу заблокированного сайта стоит только поменять домен и продолжать радовать пользователей остротой покера, игровых автоматов и другим спектром развлечений, которые предлагает каждое казино.
- Один из вариантов — замена прямой ссылки на сайт с азартными играми (например, казино или покер рум) на форму подписки. В этом случае игроку, оставившему свой электронный адрес или номер телефона, направляется сообщение с инструкциями, где расписан весь алгоритм дальнейших действий для продолжения игры. Такой способ часто используют владельцы крупных сайтов о покере.
- Еще один часто используемый ротационный способ — замещение прямой ссылки ссылкой на лендинг, который дает возможность для дальнейших действий. В частности, на лендинге зачастую и располагаются прямые ссылки, «настраивающие» посетителя на вход в казино. В этом случае заблокировать могут лишь этот самый лендинг, а не основной ресурс. А в случае блокировки домен лендинга оперативно меняется на новый.
Риск 2. Иск от гражданина
Гражданин может предъявить иск к компании, которая обрабатывала его персональные данные с нарушением закона. Например, к СМИ, если оно опубликовало личные данные без согласия субъекта. Истец вправе потребовать, чтобы нарушитель компенсировал моральный вред и возместил убытки. Как правило, суды взыскивают только компенсацию морального вреда, так как доказать причинно-следственную связь между нарушением и убытками почти невозможно.
Найти территориальный орган можно на сайте pd.rkn.gov.ru/authority
Суммы компенсаций обычно составляют 20–30 тыс. рублей, хотя истцы могут требовать гораздо больше. Суды склонны снижать компенсацию ссылками на незначительный характер нарушения и отсутствие нравственных страданий истца.
Как исключить:
Обычно такие споры — проигрышные для компании, так как факт нарушения закона при обработке персональных данных уже установлен. Юрист может только снизить размер компенсации. Для этого заявите в суде о намерении удалить, блокировать персональные данные или ограничить к ним доступ со стороны третьих лиц. Сообщите, что готовы добровольно компенсировать моральный вред истцу в разумных пределах.
Размер штрафа зависит от госоргана, которому отказала компания. Например, за отказ передать персональные данные ФАС штраф — до 500 тыс. рублей, а Центральному банку — до 700 тыс. рублей.
Процедура блокировки веб-сайта
Теперь поговорим о том, как происходит блокировкой веб-ресурсов.
Все начинается с обращения в суд – обычно оно исходит от какого-либо заинтересованного лица либо уполномоченных законом органов. В обращении они требуют закрыть доступ к какому-либо веб-сайту, исходя из тех материалов, которые на нем расположены. Это материалы могут касаться экстремизма, наркотических веществ, интим-услуг, азартных игр, ненормативной лексики, суицидов, дистанционной продажи сигарет, алкоголя или лекарственных средств, а также продажи документов о высшем образовании и медицинских справок и других тем, которые запрещены существующим законодательством.
Далее суд рассматривает это обращение и выносит либо положительное, либо отрицательное решение. Если суд выносит положительное решение о том, что доступ к какому-либо сайту в Интернете должен быть органичен из-за нарушения законодательства, то на основании этого решения Роскомнадзор направляет уведомление хостинг-провайдеру, на ресурсах которого размещается сайт. Далее хостинг-провайдер должен за срок, указанный в уведомлении, принять определенные меры: либо убедить клиента удалить запрещенный контент, либо ограничить доступ к самому контенту.
Если же адекватные действия в установленный срок предпринять не удалось, тогда Роскомнадзор со своей стороны автоматически блокирует домен или — в случае если запретить к сайту таким способом не удается — полностью сетевой адрес сервера, на котором расположен данный ресурс. И затем в течение короткого промежутка времени этот IP-адрес последовательно начинают блокировать все интернет-провайдеры, то есть IP-адрес становится недоступным на всей территории РФ.
Почему по одному IP-адресу блокируется несколько сайтов?
Услуга виртуального хостинга подразумевает, что ваш сайт будет располагаться на сервере, на котором находится множество других, незнакомых вам сайтов. Если у Роскомнадзора не получается заблокировать сайт с запрещенным материалом по доменному имени, он блокирует IP-адрес сервера, на котором данный сайт расположен. К сожалению, из-за этого блокируются и все остальные сайты, которые находятся на данном сервере.
Технические методы блокады от Роскомнадзора
Все начинается с подачи иска в суд. Соответствующая «телега» с требованием ограничить возможности того или иного ресурса в силу размещенных на нем материалов приходит из одного из приведенных нами выше ведомств или «заинтересованных» пользователей. В судебной инстанции рассматривают заявление и в случае положительного вердикта Роскомнадзор уведомляет хостинг-провайдера о необходимости устранения незаконного контента. Провайдер соответственно обращается к владельцу сайта и, если контент продолжает висеть по окончании отведенного срока, то ресурс блокируют. На сегодняшний день практикуются два способа блокировки:
- Закрывают доступ к домену.
- Начисто отключают IP-адрес сервера, приютившего ресурс.
Второй вариант используют все реже, так как эта практика довольно пагубна и по сути ограничивает права других пользователей, которые не имеют никакого отношения к нарушению закона. В данном случае их вина состоит только в том, что их домены расположены на том же IP-адресе, что и сайт нарушителя, а значит также блокируются. А таких доменов может быть до 1000! Такой случайной обструкции подвергся, к примеру, в 2013 году домен компании «Яндекс», а годом позже — Gazeta.ru. Как выяснилось, они просто оказались в плохой компании.
Сегодня более популярен первый вариант. Роскомнадзор наладил взаимодействие с крупнейшими отечественными хостинг и интернет провайдерами, которые активно сотрудничают с Роскомнадзором и своевременно закрывают доступ к запрещенным сайтам.
Последствия блокировки и парадоксы
Позиции
Самым интересным является то, что после блокировки сайта позиции в Яндексе начинают стремительно падать, а вот в Гуле наоборот позиции начали расти.
На сегодняшний день (конец Января) позиции в Яндексе восстановились, за исключением некоторых отдельных запрос
Посещаемость
Конечно же посещаемость на время блокировка значительно просела, практически весь российский трафик ушел. Создание домена зеркала не дало ощутимого эффекта на таких коротких сроках, его польза лишь в том, чтобы предоставить доступ к сайту постоянным посетителям. Новые на него идут в очень малых количествах так как он не успел проиндексироваться и занять позиции вытеснив старый домен.
На сегодня посещаемость восстановлена, можно даже сказать полностью, и даже больше, с учетом корреляции на Январь месяц, который всегда был на сайте хуже Декабря.
Но вот если до блокировки лидером по трафику был Яндекс (хоть и не с большим отрывом), то теперь им стал Google, и отрыв уже заметен. При этом позиции в Яндексе восстановлены полностью.
Здесь я описал историю и шаги для сайта, у которого лишь некоторые из страниц нарушали правила РКН, если же сайт сам по себе из серых и черных ниш, то шаги по выходу с под бана будут различаться. Вернее это будет история не выхода с под блокировки, так как его разблокировать не получится, а о том, как восстановить трафик на новом домене-зеркале. При этом 301 редирект и склейка со старым сайтом, как я говорил ранее, скорее всего снова приведет к новой блокировке. Опыта такого пока нет, как будет может напишу отдельную статью.
Третий вариант блокировки
Третий вариант блокировки, самый лобовой — по сервера, где находится запрещённый контент. Но поскольку в этом случае весьма вероятно под раздачу попадают сторонние сервисы и сайты, то его использование может носить ограниченный характер — об этом чуть ниже, а теперь о том, что мы видим в файле выгрузки РКН.
Выгрузка РКН состоит из трёх основных типов записей. Первый тип — блокировка по адресу страницы, URL, он начинается так: http:// доменное имя, / страница. В этом случае блокируется доступ не ко всему сайту, а к его конкретной странице: например, к статье с запрещённой информацией. Второй тип — блокировка по домену. Здесь в файле указывается домен, сайт и IP, который Роскомнадзор зафиксировал для этого сайта.
Второй способ применяется, когда Роскомнадзор решил заблокировать весь домен целиком, например, Rutracker или LinkedIn. Домены могут быть как сами по себе, так и с поддоменами: *.linkedin.com, то есть всё, что включается в linkedin.com, блокируется.
Третий тип блокировки — по IP, когда Роскомнадзор может указать . Так блокируются сайты, которые реализованы не как , а как различные сервисы. Именно так блокируется Telegram, поскольку в его основе не , а сервис.
Точно так же — по IP — РКН ранее боролся с Zello. И поскольку один IP адрес может быть назначен нескольким виртуальным серверам, то здесь как раз и возникает проблема, с которой столкнулось блокировки Telegram множество сервисов, использующих те же , что были заблокированы под одну гребёнку с мессенджером.
Порядок административной блокировки сайтов
Рассмотрим последовательно порядок блокировки сайтов Роскомнадзором. Весь процесс можно разделить на несколько этапов:
Направление в Роскомнадзор заявки на блокировку сайта с запрещенным контентом (п. 6 Правил)
Заявка подается по специальной форме на сайте Роскомнадзора. Обратиться с ней может любое лицо: физическое, ИП, организация, муниципальный или государственный орган, включая прокуратуру. В форме необходимо указать тип, вид и источник противоправной информации, адрес сайта или страницы, приложить скриншот, а также указать подробные данные заявителя (необязательно).
Направление Роскомнадзором информации в уполномоченный госорган
Получив заявку, Роскомнадзор обязан в течение суток направить ее в тот госорган, к компетенции которого относится блокировка интернет-ресурсов с данным типом информации (п. 7 Правил).
Пример. Сеть супермаркетов разместила на своем сайте объявление о доставке на дом алкогольных напитков. Это запрещенный контент, так как в РФ запрещена торговля спиртными напитками дистанционным способом.
Роскомнадзор, получив данную информацию, направляет ее в Росалкогольрегулирование, которое и примет решение о блокировке сайта либо отказе от нее. Если решение относится к компетенции самого Роскомнадзора, то, соответственно, им же и принимается.
Реакция уполномоченного органа
Компетентный орган в течение суток обязан отреагировать на сообщение и оценить, имеются ли основания для блокировки сайта. В некоторых случаях может потребоваться экспертиза, тогда срок увеличивается до 7 суток. Принятое решение должно быть оформлено и содержать описание противоправной информации, основания принятого решения, дату, номер, наименование госоргана, Ф. И. О. должностного лица, (п. 8 Правил).
Внесение сайта в ЕРЗС
При наличии положительного решения уполномоченного органа Роскомнадзор в течение суток вносит сайт или страницу в ЕРЗС (п. 9 Правил).
Направление уведомления владельцу сайта и провайдеру
Одновременно с занесением интернет-ресурса в число запрещенных Роскомнадзор выясняет, кто является провайдером хостинга данного ресурса, и направляет ему и владельцу сайта электронное уведомление о блокировке (п. 11 Правил).
Удаление запрещенного контента либо ограничение доступа
Если владелец сайта незамедлительно после получения уведомления удалил запрещенную информацию, то сайт не включается в реестр запрещенных (п. 12 Правил). Если же нет, то провайдер хостинга обязан ограничить доступ к нему, а Роскомнадзор включает его в ЕРЗС.
Важно! Решение уполномоченного госоргана о блокировке сайта можно обжаловать в суде (ч. 6 ст
15.1 закона № 149-ФЗ).
Узнать, заблокирован сайт или нет и на каком основании, можно с помощью специального сервиса.
Практически любой сайт или сервис, может быть разблокирован и удален из реестра Роскомнадзора
Разблокировка сайта – это удаление информации из единого реестра доменных имен, указателей страниц сайтов в сети «Интернет» и сетевых адресов, позволяющих идентифицировать сайты в сети «Интернет», содержащие информацию, распространение которой в Российской Федерации запрещено, а также восстановление доступности сайта через операторов связи и интернет-провайдеров без использования средств обхода блокировки (VPN).
Для разблокировки сайта владельцу необходимо выполнить ряд действий и условий, в зависимости от количества оснований блокировки сайта или ip-адреса.
Под блокировку может попасть не только сайт, ip-адрес или подсеть по прямому распоряжению Роскомнадзора или решению суда, но также под блокировку попадают и другие ресурсы, не являющиеся прямыми нарушителями законодательства России. Такие случаи распространены среди клиентов виртуального хостинга, CDN и пользователей систем виртуализации вычислений, при блокировке одного сайта, доступ ограничивается ко всему серверу на котором находятся в том числе и легальные сайты.
Предыстория
Коротко о сайте:
- Тип сата: портал с объявлениями\предложениями.
- Контент: товары, бизнес услуги, добавляются пользователями
- Аудитория: основной трафик с России, Яндекс чуть больше чем Google
- Причина по которой прилетела блокировка: пара объявлений с предложениями о продаже табачных изделий (стики, кальяны, сигареты)
На сайт часто приходили жалобы, верней не на сайт в целом, а на отдельные объявления (те же сигареты, копии брендов). Иногда это были предупреждения на почту указанную на сайте, но чаще жалобы летели хостеру, а они уже писали мне, я в свою очередь всегда их тут же удалял.
Беда в том, что в этот раз никаких предупреждений не было (как мне казалось), поэтому причину резкого падения я понял не сразу. Что делает сеошник когда видит такую картину?
Сначала я просрался, потом собрался и начал гонять сайт по сервисам анализа в поисках проблемы, проверять ответы кодов, доступность, позиции, апдейты и.т.д. Но все показывало норм. Позиции просесть не успели, апдейтов не было, сайт технически исправен. В процессе анализа понял что трафик порезало именно с России. Было как-то у меня что Cloud Flare по IP резал страну, поэтому думал на него, и убили сутки на настройку сервера.
Не забыл и на сайт Роскомнадзора заглянуть и проверить нет ли сайта в базе (https://blocklist.rkn.gov.ru/). Сайт был, но ограничение было наложено на страницу, а не на домен. Причем об этом ограничении я знал и ранее, оно было наложено еще с лета (более 5 месяцев), а сайт не доступен стал только сейчас. Страницу не удалял, так как это была категория, причем она сидела в топе по жирным запросам что давало хороший траф на нее (даже с учетом блокировки) и конверсию по монетизации сайта. Ну в блоке и в блоке, сайт же не заблочен был, поэтому этот вариант тоже отложил в сторону.
Многие наверное уже думают:
Главная загвоздка моей слепоты была в том, что я живу в Украине (ага, не “на”, а “в”), в рунет хожу через VPN от Hideme, а зайдя на сайт под VPN никакой заглушки как оказалось позже не видно, даже если у тебя российские IP установлены. Блокировка происходит на уровне DNS сети в регионах. Когда попросил знакомых с России посмотреть на сайт, сразу все стало на свои места. Прислали такой скрин:
Вот пример одного из таких писем:
от 25.11.19
Последнее такое письмо было 09.12.19, а уже 11.12.19 сайт приуныл.
Последствия блокировки и парадоксы
Позиции
Самым интересным является то, что после блокировки сайта позиции в Яндексе начинают стремительно падать, а вот в Гуле наоборот позиции начали расти.
На сегодняшний день (конец Января) позиции в Яндексе восстановились, за исключением некоторых отдельных запрос
Посещаемость
Конечно же посещаемость на время блокировка значительно просела, практически весь российский трафик ушел. Создание домена зеркала не дало ощутимого эффекта на таких коротких сроках, его польза лишь в том, чтобы предоставить доступ к сайту постоянным посетителям. Новые на него идут в очень малых количествах так как он не успел проиндексироваться и занять позиции вытеснив старый домен.
На сегодня посещаемость восстановлена, можно даже сказать полностью, и даже больше, с учетом корреляции на Январь месяц, который всегда был на сайте хуже Декабря.
Но вот если до блокировки лидером по трафику был Яндекс (хоть и не с большим отрывом), то теперь им стал Google, и отрыв уже заметен. При этом позиции в Яндексе восстановлены полностью.
Здесь я описал историю и шаги для сайта, у которого лишь некоторые из страниц нарушали правила РКН, если же сайт сам по себе из серых и черных ниш, то шаги по выходу с под бана будут различаться. Вернее это будет история не выхода с под блокировки, так как его разблокировать не получится, а о том, как восстановить трафик на новом домене-зеркале. При этом 301 редирект и склейка со старым сайтом, как я говорил ранее, скорее всего снова приведет к новой блокировке. Опыта такого пока нет, как будет может напишу отдельную статью.
Как разблокировать сайт?
Выделим наиболее важные аспекты:
- Связь. Владельцу сайта (бизнеса) необходимо оперативно реагировать на уведомления Роскомнадзора и своего хостинг-провайдера. Время реагирования должно составлять не более 10 часов. Мы рекомендуем сервисам и сайтам использовать специальный адрес электронной почты, на который Роскомнадзор будет направлять уведомления. Это удобно, если у ваш сервис связан с оказанием услуг по размещению пользовательского контента. Это позволит избежать мгновенной блокировки и у вас будет время на устранение нарушений.
- Удаляйте запрещенный контент. Даже если вы уверены или имеете документы подтверждающие легальность контента, мы рекомендуем заблокировать такой контент на вашем сайте. Блокировка(удаления) одного изображения, не стоит блокировки доступа к всему сайту или серверу. После исполнения требования Роскомнадзора, можно спокойно разрешить проблему с легальностью контента, при этом если вы информационный посредник, вам будет проще восстановить доступ и контент.
- Пишите письма. Своевременное уведомление Роскомнадзора об устранении нарушений позволит избежать необоснованной блокировки сайтов. Сотрудники Роскомнадзора обязаны принимать и рассматривать сообщения от владельцев сайтов.
- Мониторинг блокировок. Если вы заинтересованы в устойчивости работы ваших сервисов и сайтов, мы рекомендуем осуществлять мониторинг сайтов и IP-адресов заблокированных Роскомнадзором, чтобы избежать блокировки доступа и фильтрации трафика к вашим сайтам и ресурсам.
- Соблюдайте правила блокировки. Так как Роскомнадзор проверяет исполнение своих требований в автоматическом режиме, к удаленным страницам предъявляются технические требования, несоответствие которым может привести к блокировке сайта и внесению адреса в единый реестр запрещенных сайтов. Мы рекомендуем предавать коды классов ошибок 4ХХ или 5ХХ для заблокированных страниц.
Обратите внимание: сайт может быть заблокирован разными судами, государственными органами и в разное время. Если вы разблокирвоали сайт в одном регионе, это не означает что он не запрещен в другом
Разблокировать сайт также можно через хостинг-провайдера, особенно если эта компания работает в России. Чтобы разблокировать сайт через хостинг, нужно обратиться в поддержку провайдера, сообщить об устранении нарушений и попросить провайдера сообщить об этом в Роскомнадзор. Как правило, Роскомнадзор быстрее обрабатывает сообщения хостинговых компаний и доверяет их уведомлениям. Это может значительно сократить срок удаления сайта из реестра Роскомнадзора.
Основная проблема реализации блокировок
В чём вообще основная проблема с реализацией блокировок? В протоколе HTTPS, который обеспечивает шифрование веб-страниц. По протоколу HTTP данные и страницы передаются в нешифрованном виде.
А протокол HTTPS был разработан для того, чтобы решить все проблемы безопасности протокола HTTP: зашифровать всё внутри, чтобы никто снаружи не смог влезть в передаваемую страницу, подсмотреть содержимое — например, номера кредитных карт или персональных данных. И эту задачу успешно решили.
А вот те, кто хотят что-то отфильтровать, что-то подделать, в нашем случае — реализовать требования РКН, сталкиваются с трудностями. Главная — то, что в протоколе HTTPS нельзя выяснить страницу на сайте, на которую идёт пользователь.
В рамках HTTPS обмен данными идёт примерно по такой схеме: пользователь вбил доменное имя, оно преобразуется в IP, и начинается запрос на этот хост. И вот в рамках этого запроса наружу не отдаётся ничего кроме IP-адреса, даже не узнать, на какой домен идёт пользователь. В этом случае придётся заблокировать все запросы на этот IP: страдают все, кто на нём находится.
Хорошие новости в том, что все современные браузеры весьма «разумны» — они не просто отправляют IP сервера, а ещё указывают SNI-идентификатор, это некое имя, которое определяет, с какого домена нужно получить данные. И это, к счастью, позволяет системам DPI не блокировать все IP скопом, а, проанализировав запрос, понять, на какой домен всё же хочет пойти клиент, и заблокировать только его.
Но больше домена в случае HTTPS ничего определить невозможно, соответственно, непонятно, на какие страницы идёт клиент. Бывают случаи в выгрузке РКН, когда указывается сайт и страница — но всё это внутри HTTPS, то есть это приводит только к тому, что блокируется весь сайт, потому что саму страницу выделить нельзя. Такое редко, но бывает.
Поэтому, когда РКН требует заблокировать ролик на YouTube, то они добавляют строчку в выгрузке в формате HTTP, и ни одной страницы HTTPS на YouTube в выгрузке нет — если бы они были, нам пришлось бы блокировать весь YouTube.
Шаги для разблокировки сайта РКН?
В моем варианте сайт белый, только отдельные страницы серые, поэтому опишу шаги для этого случая. В случае если такой контент удалить не возможно, шаги будут отличаться.
Минимизируем потери трафика
Первоочередная задача при блокировке сайта Роскомнадзором конечно же минимизировать потери посещаемости на время, пока идет процесс разблокировки сайта. Для этого:
- Удаляем весь контент который стал причиной блокировки сайта. Причем не скрываем, а удаляем. Код ответа этих страниц должен быть 404, иначе есть вероятность что не прокатит с первого раза.
- Покупаем домен (зеркало сайта). В моем случае был куплен домен максимально похож на заблокированный с отличием только в доменной зоне.
- В настройках основного домена пишем купленный домен как alias (псевдоним)
- Добавляем новый домен в сервисы Яндекс вебмастер и Search console для максимально быстрой индексации. Переезд сайта на новый домен делать я не стал, так как рассчитывал что процесс разблокировки займет пару недель. Если проблема лишь в некоторых страницах, то переезд делать не стоит, пока сайты склеятся сайт уже разблокируют и вам снова нужно будет делать переезд. Больше потеряете в итоге чем сохраните.
- Ставим 302 редиректы со всех страниц старого домена, на страницы нового. Но! Редиректы как я писал выше для юзеров работать не будут! То есть кликая на старый домен в выдаче ПС или переходя по прямой ссылке, с закладок и.т.д. он будет видеть заглушку от РКН. Редиректы лишь для того, чтобы поисковые системы быстрее индексировали контент на новом домене, а 302 код указывает, что это временно, а не постоянно.
- Сообщаем нашим пользователям что на сайте временные проблемы и что он временно доступен по новому адресу. Если на сайте есть каналы в Телеграмм, группы с соц. сетях с подписчиками, базы email которые подписались на новости сайта и т.д. делаем рассылки там.
- Если позволяет бюджет запускаем контекстную рекламу на поиске, я не запускал так как для этой тематики и частотности запросов это было бы нецелесообразной тратой средств.
- Пишем в Роскомнадзор на Email zapret-info@rkn.gov.ru письмо примерно следующего содержания:
Все. Дальше остается только ждать ответа от них.
Сколько времени проходит на разблокировку сайта от Роскомнадзора?
Письмо мной было написано им 13.12.19, и уже (или аж) 24.12.19 я получил ответ:
В среднем ответ приходит в промежутке от 7 до 10 дней.
25.12.19 трафик на сайт заметно улучшился, но так как Новый год на носу трафик всегда к этому времени проседал, поэтому оценить реальные потери сложно.
Действия после разблокировки
Чтобы не путаться. Заблокированный основной домен пусть будет сайт 1, новый, временный домен (зеракало) – сайт 2
- Убираем редиректы которые делали с сайта 1 на сайт 2
- С сайта 2 ставим 301 редиректы на сайт 1
- В Яндекс вебмастере делаем переезд (склейку) сайта 2 на сайт 1
- В Гугл Search console ничего не делал так как там не все так удобно как в Яндексе, 301 редиректы сдеалют свое дело.
