Блокировка ркн что это
РКН: Что это такое, как работает ведомство, можно ли выйти из под блокировки
Разбираем, что такое РКН, как работает ведомство, какие способы блокировки есть, к кому они применяются, можно ли выйти из под блока с минимальными потерями трафика для бизнеса, ведь трафик режет до нуля! И самое главное, можно ли вернуть заблокированный домен.
P.S.: Текст вычитали и дополнили эксперты
Статью вычитали и дополнили: Артем Абловацкий, Алексей Степанов, Александр Букреев, Игорь Шулежко и еще несколько специалистов, которые предпочли остаться в тени)
Всем привет. На связи Толстенко Александр. Сегодня, мы с коллегами по цеху, подготовили для вас информацию про работу Роскомнадзора. В работе ведомства очень много нюансов, которые порождает множество вопросов, на которые в сети ответов почти нет.
Если вы занимаетесь продвижением сайта, рано или поздно, по различным причинам Роскомнадзор может заблокировать ваш сайт, и не важно, какая у вас тематика сайта. Блокировки прилетают на различные виды ресурсов: онлайн казино, сайты про букмекеров, новостные сми, блоги, интернет магазины, порталы, онлайн кинотеатры и тд.
Итак, разберемся же, что это за страшные три буквы РКН, чем занимается ведомство, с кем сотрудничает, как блокируются сайты и что делать, если пришло письмо на почту с требованием устранить нарушение (абузоустойчивые хосты, как правило игнорируют).
P.S.: Статью пишу исходя из собственного опыта, т.к. когда столкнулся с проблемой пришлось изучить немало информации в сети, где не везде она была раскрыта полностью, из-за чего возникало непонимание, как работает ведомство и что происходит при блокировке сайта на практике.
P.S.: P.S.: Данная статья, носит больше обзорный характер, в ней будет минимум технических моментов. Технические нюансы и наблюдения за ресурсом подробнее опубликовал в опросе про блокировку со стороны хостингов и в наблюдении за заблокированным сайтом.
РКН является федеральным органом власти. В его полномочия, входит довольно таки большой список функций. Вот несколько самых важных:
P.S.: С полным списком полномочий ведомства можно ознакомиться на официальном сайте https://rkn.gov.ru/about/credentials/
Проще говоря, РКН производит контроль за тем, как исполняются Федеральные законы в Интернете. Если органы управления выявляют случаи нарушения, ресурс попадает в черный список на блокировку.
Как работает блокировка доступа к страницам, распространяющим запрещенный контент (теперь РКН проверяет и поисковики)
Прежде чем перейти к описанию системы, которая отвечает за фильтрацию доступа операторами связи, отметим, что теперь Роскомнадзор займется и контролем над работой поисковых систем.
В начале года утвержден порядок контроля и перечень мероприятий по соблюдению операторами поисковых систем требований прекратить выдачу сведений об интернет-ресурсах, доступ к которым ограничен на территории Российской Федерации.
Соответствующий приказ Роскомнадзора от 7 ноября 2017 года № 229 зарегистрирован в Министерстве юстиции России.
Приказ принят в рамках реализации положений статьи 15.8 Федерального закона от 27.07.2006 № 149-ФЗ «Об информации, информационных технологиях и о защите информации», которая определяет обязанности для владельцев VPN-сервисов, «анонимайзеров» и операторов поисковых систем по ограничению доступа к информации, распространение которой в России запрещено.
Мероприятия по контролю проводятся по месту нахождения органа по контролю без взаимодействия с операторами поисковых систем.
Под информационной системой понимается ФГИС информационных ресурсов информационно-телекоммуникационных сетей, доступ к которым ограничен.
По итогам мероприятия составляется акт, в котором указывается, в частности, информация о ПО, используемом для установления этих фактов, а также сведения, подтверждающие, что конкретная страница (страницы) сайта на момент контроля находилась в информационной системе более суток.
Акт направляется оператору поисковых систем посредством информационной системы. В случае несогласия с актом оператор в течение трёх рабочих дней вправе представить свои возражения в Роскомнадзор, который рассматривает возражения также в течение трёх рабочих дней. По результатам рассмотрения возражений оператора руководитель органа по контролю или его заместитель принимают решение о возбуждении дела об административном правонарушении.
Как сейчас устроена система фильтрации доступа для операторов связи
В России действует ряд законов, обязующих операторов связи фильтровать доступ к страницам распространяющим запрещенный контент:
Со своей же стороны, для проверки операторов связи Роскомнадзор стал выдавать клиента АС «Ревизор». Ниже немного о функционале агента.
Алгоритм осуществления проверки доступности каждого URL Агентом. При проверке Агент должен:
В общем виде структура выглядит так:
Программные и программно-аппаратные решения для фильтрации интернет-трафика (DPI-решения) позволяют операторам блокировать трафик от пользователей к сайтам из списка РКН. Блокируют их или нет, это проверяет клиент АС Ревизор. Он по списку от РКН в автоматическом режиме проверяет доступность сайта.
Пример протокола мониторинга доступен по ссылке.
В прошлом году Роскомнадзор начал тестировать решения для блокировки, который может применять оператор для реализации данной схемы оператором. Приведу цитату по результатам такого тестирования:
«Положительные заключения Роскомнадзора получили специализированные программные решения «UBIC», «EcoFilter», «СКАТ DPI», «Тиксен-Блокировка», «SkyDNS Zapret ISP» и «Carbon Reductor DPI».
Также получено заключение Роскомнадзора, подтверждающее возможность использования операторами связи программного обеспечения «ZapretService» в качестве средства ограничения доступа к запрещенным ресурсам в интернете. Результаты тестирования показали, что при установке по рекомендованной производителем схеме подключения «в разрыв» и правильной настройке сети оператора связи, количество выявленных нарушений по Единому реестру запрещенной информации не превышает 0,02%.
Таким образом, операторам связи предоставлена возможность выбора наиболее подходящего для них решения по ограничению доступа к запрещенным ресурсам, в том числе из перечня программных продуктов, получивших положительное заключение Роскомнадзора.
Вместе с тем в ходе тестирования программного продукта IdecoSelecta ISP из-за длительной процедуры его развертывания и настройки некоторые операторы не смогли приступить к тестам в установленные сроки. У более чем половины операторов связи, участвующих в тестировании, срок тестовой эксплуатации Ideco Selecta ISP не превышал недели. Учитывая малый объем полученных статистических данных и небольшое число участников тестирования, Роскомнадзор в официальном заключении указал на невозможность получения однозначных выводов об эффективности продукта «Ideco Selecta ISP» как средства ограничения доступа к запрещенным ресурсам в интернете.»
Дополню, что в тестировании каждого программного продукта принимали участие до 27 операторов связи с различной численностью абонентов из разных федеральных округов Российской Федерации.
С официальными заключениями по результатам тестирования можно ознакомиться здесь. В этих заключениях практически ноль технической информации. Про продукт «Ideco Selecta ISP» можно почитать, чтобы знать, как не нужно делать.
В этом году тестирование продолжится и на данный момент, судя по новостям Роскомнадзора, взят уже один продукт и еще 2 в ближайших планах.
Что если блокировка произошла по ошибке?
В завершение, хотелось бы напомнить, что Роскомнадзор «не ошибается», что подтверждает Конституционный суд.
Постановление, фактически снимающее ответственность с Роскомнадзора за ошибочную блокировку сайтов, было принято в рамках рассмотрения жалобы в КС директора ассоциации интернет-издателей Владимира Харитонова. В ней говорилось, что в декабре 2012 года Роскомнадзор по ошибке заблокировал его интернет-библиотеку digital-books.ru. Как пояснял господин Харитонов, его ресурс располагался на том же IP-адресе, что и портал rastamantales(.)ru (сейчас rastamantales(.)com), который и был изначальным объектом блокировки. Владимир Харитонов попробовал в судебном порядке опротестовать решение Роскомнадзора, однако в июне 2013 года Таганский райсуд признал блокировку законной, а в сентябре 2013-го это решение оставил в силе Мосгорсуд.
В Роскомнадзоре «Ъ» заявили, что решением КС удовлетворены. «Конституционный суд подтвердил, что Роскомнадзор исполняет закон. Если у оператора нет технической возможности для ограничения доступа к отдельной странице сайта, а не к его сетевому адресу, то это ответственность оператора»,— сказал «Ъ» пресс-секретарь ведомства.
Блокировка сайта РКН: Блокировка и технические нюансы
Сайт попал в запрещенный список ресурсов Роскомнадзора и его заблокировали? В данном материале поделюсь своими наблюдениями и тем, что было с проектом клиента, который попал под блок РКН.
Всем привет. На связи Толстенко Александр. В общих чертах принцип работы Роскомнадзора и инструкцию, что делать если сайт заблокировали, писал в статье: РКН: Что это такое, как работает ведомство, можно ли выйти из под блокировки.
P.S.: Материал вычитали и дополнили профессиональные сеошники.
В данной статье, опишу как вообще происходит блокировка и свои наблюдения за клиентским проектом, который попал под блокировку РКН и что с ним происходило во время и после ее снятия.
P.S.: Рекомендую ознакомиться с первыми двумя ссылками выше, т.к. каждый текст является дополнением текущего. Из за большого объема и множество технической информации, пришлось разбить материал на части. Ниже, напишу только о том, что было с сайтом.
Что происходит с сайтом для поисковых систем, когда его заблокировали?
Ничего. Поисковые роботы Яндекс и Google продолжали индексировать сайт в обычном режиме.
Ниже, примерно по дням, напишу кратко свои наблюдения за проектом, который попал «под раздачу» РКН.
Почему примерно? Изначально, не планировал делиться наблюдениями за проектом. Хронологию событий восстанавливал по памяти и переписке с клиентом, в которой остались кое какие скрины.
P.S.: P.S.: На продвижении находился очень большой проект. Поэтому он долгое время не индексировался поисковыми системами, особенно Гугл (он упорно не хотел клеить старый домен к новому), в отличие от Яндекса.
День 1
Когда сайт перестал открываться в браузере, причину поняли сразу, как только проверили логи сервера и посмотрели почту на которую был зареган выделенный сервер. От хостинг провайдера, в почте было «письмо счастья» РКН, которое владелец сайта благополучно не прочитал (у меня доступов не было).
По логам сервера, сайт парсился ботами Яндекс и Гугл, как ни в чем, ни бывало.
Ключевые запросы по которым ранее были переходы на портал, по-прежнему держались в ТОП 10 поисковой выдачи, но при попытке перехода по ссылке из серча, проект не работал, т.к. уже был заблокирован хостингом из за выявленных нарушений РКН.
P.S.: Если важно сохранить трафик и быстро среагировать, рекомендую настраивать мониторинг минимум раз в сутки, на попадание сайта в список РКН.
День 2
После того, как в первый день погуглил и поизучал инфу, которой было с гулькин нос и она была раскидана по разным источникам, проконсультировались с юристом, опросили знакомых владельцев сайтов, обсудили свои догадки (в постановлении не было четкой причины, было указание только на домен), начали править тексты и убирать блоки за которые могли закрыть сайт.
Т.к. мы не знали, сколько бы длилась эпопея с разблокировкой домена, было принято решение купить домен-зеркало и склеить его через 301 редирект, чтобы можно было побыстрее вернуть трафик и заменить url неработающего домен на новые в результатах поисковой выдачи.
P.S.: Как разблокировать старый домен и какие еще действия еще можно предпринять, подробно написал в статье: РКН: Что это такое, как работает ведомство. (ссылка в самом начале).
День 4
Сайт по прежнему недоступен для пользователей по старому домену, только еще появилось сообщение о блокировки web-ресурса от интернет провайдера.
При попытке определить какие страницы домена остались в индексе поисковой системы посредством запроса в яндексе
увидел, что в выдаче начали появляться страницы нового домена, т.е. пошла склейка нового сайта.
День 5
Решил проверить, начал ли Гугл склеивать новый домен со старым. Для этого вбил в строку поиска выборочно несколько самых посещаемых страниц сайта. В индексе, по-прежнему были ссылки на старый домен.
Попытался ускорить попадание в индекс нескольких важных страниц нового домена закупкой ссылок с сайтов СМИ — особого результата не увидел, хотя ссылки были не с самых дешевых источников и посещаемость у них была 1000-3000 чел/сутки.
P.S.: При проверке на момент написания текста выяснил, что в ТОПе по старому домену еще есть очень много не склеенных страниц портала.
Когда делал выборочную проверку по ключам, которые были в ТОПе в Гугла и давали максимальный трафик, заметил конкурента, который попал под блок чуть раньше нас и по наблюдениям, точно не работал где то недели две, пока они не переехали на другой домен. Или сразу не заметили, или не знали что делать и как быстро решить проблему. У него тоже в ТОПе долго висели url от старого домена по некоторым страницам.
P.S.: В процессе работы увидел еще нескольких конкурентов, которые также попали в список РКН, но они быстро восстановили доступ к старому домену и переклеили информацию на новый.
День 7
После выходных, опять проверял сайт в результатах выдачи Гугла, чтобы посмотреть изменилось ли что-то от проделанных действий. Увидел забавную картину, о которой я бы и не узнал, если бы за выходные не переехал с Краснодара, в соседний небольшой городок.
Так вот, когда перешел по ссылке из результатов выдачи по старому домену и сайт открылся без vpn по новому, сразу не понял, что произошло. Спустя несколько минут, поймал себя на мысли, что домен у нового провайдера не блокируется и меня редиректит на новый.
Тогда пошел проверять блокировку ресурса с мобильного телефона и разных ip-адресов: МСК, Краснодара и смартфона с питерской симкой. Сайт был в блоке, а в соседнем городе нет. Почему так, не знаю, возможно дело в кэше DNS провайдера, а может в другом причина.
P.S.: Была у меня одна забавная история с кэшем dns у одного Севастопольского провайдера. Когда жил в Севастополе и делал сайт на одном хостинге, а потом перенес его на другой. Сайт с кабельного интернета был недоступен, а с мобильного телефона работал. Обратился к провайдеру, который ответил, что видимо закешировался dns. Хоть техподдержка и сказала, что кешь скинула и сайт должен был сразу заработать, через кабель он заработал только спустя 3-5 дней.
День 8
P.S.: Пока ждали ответ, в панели Яндекс.Вебмастере сайты расклеились из за различного контента) Что делал, подробно написал в первой ссылке в начале статьи выше.
День 10
Обратную связь от РКН после подачи заявления получили примерно через 7 дней. Когда сняли ограничение, по старым url с поиска, при клике редиректило уже на новый домен без впн.
Что было с трафиком до/после?
После блокировки ресурса, трафик сократился примерно на 80-90%, т.е. откуда то, на сайт все же переходы были. Как выяснилось позже, когда анализировал метрику, остаточный трафик на сайт шел с «глубинки». Об этом бы никогда бы не узнал, не переехав за выходные в другой населенный пункт.
P.S.: На момент написания статьи трафик восстановился примерно на 80% из Гугла и Яндекса. Проблема в том, что портал очень большой и боты его не успевают быстро переиндексировать, хотя и был настроен Last-Modified.
Выводы
Ограничение доступа к веб ресурсу и его поддоменам происходит в первую очередь на уровне хостинга, во вторую провайдером связи, где есть нарушения.
Новое зеркало вскоре после переезда будет заблокировано, если не устранены предписания Роскомнадзора.
Если вы хотите быстро восстановить трафик, нужно использовать только 301 редирект. От 302 в результатах выдачи поисковых систем будут url заблокированного домена, кликнув по которому, посетитель будет видеть неработающий сайт.
Если резко упал трафик почти до нуля, первым делом проверяйте блокировку на сайте РКН. Если блока нет, копайте дальше.
А ваш проект блокировал РКН? Наблюдали, что происходит с проектом? Можете поделиться полезной информацией?
На линии фронта цифровой войны: как работают блокировки Роскомнадзора
Сетевые специалисты дата-центра Xelent — о том, как технически работают пресловутые блокировки и что должны делать операторы связи, чтобы не лишиться лицензии.
Любая компания, которая предоставляет коммерческие услуги передачи данных, обязана иметь и продлевать лицензию, выдаваемую Роскомнадзором. Следовательно, любой оператор связи обязан подчиняться требованиям регулятора, в том числе по ограничению доступа к информации. Кстати, это касается только коммерческой деятельности — если вы не берёте плату за связь и передачу данных, то теоретически вас эти требования не касаются.
Мы — коммерческий дата-центр, наш принцип carrier neutral — это значит, что мы не навязываем клиентам сервис по доступу в интернет, можем организовать связность с любым из 25 интернет-провайдеров, представленных на нашей площадке, но можем дать и свой доступ в интернет. И для таких случаев (которых немало, потому что цены на интернет у нас низкие) у нас есть лицензия оператора, а значит, мы обязаны выполнять все требования РКН.
Начинается всё с получения выгрузки — специального XML-файла, который постоянно обновляется Роскомнадзором. Все зарегистрированные операторы, которые имеют лицензию на телематические услуги, обязаны этот файл получить, обработать и заблокировать то, что там содержится.
Первый способ, который Роскомнадзор использует уже довольно давно, — получение файла с сайта rkn.gov.ru по HTTP. Оператор направляет на известный URL веб-запрос, подписывает его сертификатом, который каждый оператор получает для себя в центре сертификации (кстати, это стоит денег), и получает ответ — это и есть файлик, дамп XML.
Второй способ сейчас введён для всех крупных операторов — это так называемая «дельта». Файл выгрузки формируется примерно раз в час. А периодически становится доступным не полный файл, а разница — то, во что РКН внёс изменения: «дельты», дельта-1, дельта-2, дельта-3. И операторы закачивают каждый раз не полную выгрузку, а изменения: это быстрее и удобнее.
Далее перед оператором стоит задача заблокировать список сайтов в файле. Есть два способа, которые РКН официально считает правильными.
Первый – DPI, Deep Packet inspection — глубокое изучение пакета. Представим, что у оператора есть некий маршрутизатор, на который подключены клиенты, и есть маршрутизатор, который ведёт в интернет. Между ними (напрямую или через зеркало, это уже нюансы) ставится мощный сервер DPI, в котором должно быть много памяти и хорошие сетевые карты, потому что весь пользовательский трафик идёт через него.
Программное обеспечение DPI анализирует проходящие пакеты трафика и не пропускает те, которые соответствуют правилам, описанным в файле РКН. Есть коробочные сертифицированные DPI, есть самописные DPI. Роскомнадзор рекомендует пользоваться сертифицированными, но это необязательно. У Xelent, например, свой DPI.
Второй путь — блокировка по DNS, Domain Name Service, служба доменных имён. Сейчас он уже потерял свою значимость, потому что через DNS трудно добиться правильной блокировки.
И вот этот провайдер, чтобы организовать блокировку, не возвращает правильный адрес заблокированного сайта, а сообщает некий поддельный адрес с другим IP, где, например, висит страничка с объявлением о блокировке сайта.
И третий вариант блокировки, самый лобовой — по IP-адресу сервера, где находится запрещённый контент. Но поскольку в этом случае весьма вероятно под раздачу попадают сторонние сервисы и сайты, то его использование может носить ограниченный характер — об этом чуть ниже, а теперь о том, что мы видим в файле выгрузки РКН.
Третий тип блокировки — по IP, когда Роскомнадзор может указать IP-адрес. Так блокируются сайты, которые реализованы не как веб-сайты, а как различные сервисы. Именно так блокируется Telegram, поскольку в его основе не веб-страница, а сервис.
Точно так же — по IP — РКН ранее боролся с интернет-рацией Zello. И поскольку один IP адрес может быть назначен нескольким виртуальным серверам, то здесь как раз и возникает проблема, с которой столкнулось из-за блокировки Telegram множество сервисов, использующих те же IP-адреса, что были заблокированы под одну гребёнку с мессенджером.
В чём вообще основная проблема с реализацией блокировок? В протоколе HTTPS, который обеспечивает шифрование веб-страниц. По протоколу HTTP данные и страницы передаются в нешифрованном виде.
А протокол HTTPS был разработан для того, чтобы решить все проблемы безопасности протокола HTTP: зашифровать всё внутри, чтобы никто снаружи не смог влезть в передаваемую страницу, подсмотреть содержимое – например, номера кредитных карт или персональных данных. И эту задачу успешно решили.
А вот те, кто хотят что-то отфильтровать, что-то подделать, в нашем случае — реализовать требования РКН, сталкиваются с трудностями. Главная – то, что в протоколе HTTPS нельзя выяснить страницу на сайте, на которую идёт пользователь.
В рамках HTTPS обмен данными идёт примерно по такой схеме: пользователь вбил доменное имя, оно преобразуется в IP, и начинается запрос на этот хост. И вот в рамках этого запроса наружу не отдаётся ничего кроме IP-адреса, даже не узнать, на какой домен идёт пользователь. В этом случае придётся заблокировать все запросы на этот IP: страдают все, кто на нём находится.
Хорошие новости в том, что все современные браузеры весьма «разумны» — они не просто отправляют IP сервера, а ещё указывают SNI-идентификатор, это некое имя, которое определяет, с какого домена нужно получить данные. И это, к счастью, позволяет системам DPI не блокировать все IP скопом, а, проанализировав запрос, понять, на какой домен всё же хочет пойти клиент, и заблокировать только его.
Но больше домена в случае HTTPS ничего определить невозможно, соответственно, непонятно, на какие страницы идёт клиент. Бывают случаи в выгрузке РКН, когда указывается сайт и страница – но всё это внутри HTTPS, то есть это приводит только к тому, что блокируется весь сайт, потому что саму страницу выделить нельзя. Такое редко, но бывает.
Поэтому, когда РКН требует заблокировать ролик на YouTube, то они добавляют строчку в выгрузке в формате HTTP, и ни одной страницы HTTPS на YouTube в выгрузке нет – если бы они были, нам пришлось бы блокировать весь YouTube.
Теперь пара слов о том, как регулятор контролирует исполнение блокировки. Каждый провайдер связи обязан установить в своей сети программно-аппаратный комплекс «Ревизор». Эта система проводит постоянные тесты, доступны ли из нашей сети адреса из выгрузки, и если они доступны, отправляет отчёты в РКН. Мы тоже можем видеть эти отчёты в своём личном кабинете – он есть у каждого оператора, включенного в «Ревизор», — и понимать, что у нас блокируется, а что нет. Так мы можем сами себя контролировать.
Если у нас что-то ломается, мы должны сообщать об этом в местное представительство Роскомнадзора, если это длительное время – от 12 часов и дольше – у нас не работает, то наступают санкции, достаточно серьёзные штрафы, причём и на компанию, и отдельно на ответственное лицо. Поэтому операторы в целом следят за соблюдением требований регулятора, так как за многочисленные нарушения можно и лицензию потерять.