«Буквально говоря, это обман детей» — статья и комментарий Михаила Фейгельмана о фальсификациях в научпопе.

Михаил Фейгельман

Сегодня в газете “Троицкий вариант — наука” вышла статья “Популяризация науки и обман трудящихся”, которую написал Михаил Фейгельман, зав. кафедры “Проблемы теоретической физики” ФОПФ МФТИ, зам. директора ИТФ Ландау.

В своей статье Михаил Фейгельман рассказал о фальсификации результатов научных исследований в научно-популярных статьях и объяснил, какие последствия для науки и общества имеют подобные махинации.

Для примера автор разобрал две научные статьи и их анонсы в прессе. Одна из них — статья “H-theorem in quantum physics” научной группы под руководством Гордея Лесовика, зав. кафедры “Фундаментальные проблемы физики квантовых технологий” ФОПФ МФТИ и ведущего научного сотрудника ИТФ Ландау.

Помимо статьи, публикуем комментарий Михаила Фейгельмана “Потоку” по затронутой теме.


Популяризация науки и обман трудящихся

Многократно приходилось слышать о бурном развитии научной популяризации в России; но сложно ожидать внятных представлений о происходящем в современной науке от людей, с наукой прямо не связанных, хотя бы и имеющих университетское образование. Более того, сейчас уже невозможен и специалист по «физике вообще» (то же самое и в других науках). Сокращенное, адаптированное, т.е. «популярное», изложение научных результатов необходимо для сохранения связности и общности представлений о современном мире хотя бы внутри образованной части общества. Не менее важно это для ориентации студенческой молодежи, которой предстоит выбирать, чем заниматься в науке. Поэтому достоин всяческого одобрения и уважения честный труд научных работников и журналистов, которые этим занимаются.

Цель науки – получение новых сведений об устройстве окружающего мира, установление связей между этими сведениями, развитие понимания причин различных явлений и их взаимосвязи. Люди занимаются этим много веков, наука очень сильно специализировалась, особенно в последние полвека. Число “лиц ученого звания” возросло за эти полвека многократно — это один из примеров инфляции. Надо понимать, что в общие курсы физики, например, не входит почти ничего из созданного в физике за последние лет 50-60. Ниже пойдет речь только о самой часто встречающей форме популяризации науки, когда автор свежей статьи в уважаемом научном журнале совместно с научным журналистом производит нечто вроде пересказа сути своего достижения в форме, призванной быть понятной народу. Это полезно, если удается объяснить суть полученного научного результата, да еще если и результат того стоит.

Однако проблема в том, что очень легко, а часто и материально выгодно заниматься такого рода деятельностью нечестно, когда публике рассказывают наукообразные байки. В байках такого рода обычно присутствуют претензии на фундаментальность открытия (очень полезно «опровергнуть» какой-нибудь важный закон природы; особенно в этом отношении популярны законы термодинамики), его практическую применимость и указание на «мультидисциплинарность» проведенного исследования. Крайне желательно, чтобы исследование не ограничивалось, к примеру, физикой конденсированного состояния (а это сама по себе огромная научная область), еще декларируется какое-то отношение к теории струн (уже лет тридцать претендующей на объяснение всей основы мироздания) или, скажем, к биологии.

Какая-то поверхностная связь с результатом самой научной работы, которую текст (пресс-релиз или беседа с журналистом) «популяризирует», должна присутствовать хотя бы на уровне словоупотребления, но не обязательно, чтобы достижения, предъявляемые публике, действительно содержались в исходной статье. Сам журналист, готовящий публикацию, не может разобраться, что действительно сделано в работе, опубликованной, например, в Nature, а что является лишь предметом фантазий ее автора.

Более того, статья в условном Nature или Science (не говоря уж о журналах попроще) может вообще не иметь научного смысла. Есть много примеров, когда сколь угодно рейтинговые журналы публикуют чушь или банальности под видом научных достижений, несмотря на то что у них есть строгое рецензирование, критерии и проч. Сбои в работе этой системы весьма нередки, поскольку любой бурно развивающийся рынок поражает инфляция. Авторы сомнительных сочинений, которые как-то удалось просунуть в престижный научный журнал, чаще всего и склонны к обману публики под видом «популяризации». За это платят грантами и престижными позициями, а теперь и среди официальных «показателей работы» российских научных институтов фигурирует «количество упоминаний в СМИ».

Распределяют эти блага, как правило, администраторы, в науке мало что понимающие. Они ориентируются на “формальные показатели”, которые при желании легко подделать. Если вы печете хлеб или шьете башмаки, вам (в условиях рыночной экономики, разумеется) довольно сложно процветать, производя халтуру. Потому что конечный потребитель ее немедленно обнаруживает органолептически и продукцию вашу более не покупает. Иное дело с научными достижениями: тут конечный потребитель — всё общество, а оценка качества “продукции” хоть и происходит, но очень не быстро, годами и десятилетиями. За это время можно очень даже преуспеть. Защита науки от фальсификаций невозможна, если в научном сообществе разрушены представления об этике и не работает институт репутаций. Отчасти это уже произошло во всем мире, хотя и в разной степени в разных его частях.

Желание бездарных администраторов руководить процессами принятия решений в науке путем автоматизированного анализа (публикационной активности, цитируемости и т.п.) губит науку наиболее быстро и эффективно, даже эффективнее безденежья. Потому что основанная на этой цифири система принятия решений провоцирует развитие прохиндейства вместо науки, каковое лет за 10–15 становится доминирующим типом поведения. Так что почва для массовых фальсификаций — вместо популяризации науки — уже создана и унавожена решениями государственных органов.

Рассмотрим всего лишь пару примеров.

Из отечественной науки

В январе 2017 года пресс-служба МФТИ опубликовала сообщение под заголовком «Второй закон термодинамики может нарушаться в квантовом мире», рассказывающее о статье группы авторов под руководством докт. физ. -мат. наук Г. Б. Лесовика. Эта статья под заголовком ”H-theorem in quantum physics” появилась в журнале Scientifc Reports, входящем в издательскую группу Nature. Пресс-релиз многократно тиражировался в различных сетевых изданиях и приобрел некоторую известность. Разберемся, как он устроен и какое отношение имеет к статье в Sci. Rep. Оба текста находятся в свободном доступе, так что читатель может сам во всем убедиться.

Вот ключевые утверждения пресс-релиза (выделение жирным шрифтом автора — прим. «Потока»):

«В результате ученые обнаружили условия, при которых второй закон термодинамики может локально нарушаться. Это может происходить в квантовых системах относительно небольшого, но макроскопического размера — сантиметры и даже метры. Существенное различие состоит в том, что если в классической физике уменьшение энтропии связано с передачей тепловой энергии, то в квантовом мире снижение энтропии может происходить без передачи энергии — за счет квантовой запутанности. „Мы можем «вычистить» состояния за счет квантовых эффектов“, — объясняет Лесовик. По его словам, ученые в ближайшее время планируют провести экспериментальную проверку этого эффекта. Такой эксперимент откроет возможность создания квантовых холодильников и двигателей нового типа»
Подчеркиваю, этот пресс-релиз не продукт фантазии журналистов, он записан ими со слов самого Г. Б. Лесовика.

Теперь обратимся к оригинальной публикации. Здесь неуместно обсуждать научную постановку вопроса, предложенную в статье в Scientifc Reports, — это достойно отдельного разговора. Мы просто поглядим на заявленные результаты. Первый из них относится к изменению энтропии системы, состоящей из одной квантовой частицы, которая рассеивается на контакте из трех проволок (изображен на рис. 1 статьи). Частица прилетает из проволоки 1 и вылетает через проволоки 2 и 3. Результат произведенного авторами вычисления приведен в начале стр. 4 статьи, он состоит в том, что энтропия рассматриваемой системы (в которой не происходит, по мнению авторов, изменения энергии) при некоторых условиях может уменьшиться на 0,05 kB (где kB — постоянная Больцмана). Напомним, что максимальная энтропия одного «бита» — системы, которая может находиться в одном из двух состояний, — равна kB ln2 ≈ 0,7 kB.

Следующий результат (раздел ”Elastic scattering”) относится к задаче о рассеянии частицы на системе из N других частиц. Авторы получили, что в пределе очень большого числа N >> 1 условия справедливости H-теоремы Больцмана всегда восстанавливаются (даже если они могли быть нарушены для малого количества частиц), см. формулу (11) и сопутствующий текст. В частности, авторы пишут: ”Thus the evolution of the considered 3D system occurs with ΔS > 0”. Иначе говоря, они убедились, что в большой квантовой системе (N >> 1) энтропия возрастает, как и утверждал Людвиг Больцман более 100 лет назад.

Еще один раздел статьи называется ”Scattering on two-level systems” и никаких результатов (которые, например, можно было бы сравнить хоть с каким-то экспериментом или с другой теорией) не содержит, а содержит лишь некоторые рассуждения. Зато в конце этого раздела имеется следующее:

This may result, in general, in a non-monotonic entropy evolution. This issue requires a separate study and will be a topic of a forthcoming work

В переводе на русский:

«Это, может быть, приводит к немонотонному изменению энтропии со временем. Данный вопрос нуждается в отдельном исследовании и будет предметом дальнейшей работы»

Подведем итог: результативно статья Г. Б. Лесовика и др. в Sci.Rep. сообщает, что в системе из одной частицы энтропия иногда (если постараться) может и чуть-чуть уменьшиться, но в системе из многих частиц такого никак не происходит. Никакого сюрприза — и первое, и второе давно известно. Заметим заодно, что никаких вообще единиц измерения длины в работе не упоминается. Нет там ни сантиметров, ни даже нанометров.

Теперь вернемся к пресс-релизу, где сказано:

«…ученые обнаружили условия, при которых второй закон термодинамики может локально нарушаться. Это может происходить в квантовых системах относительно небольшого, но макроскопического размера — сантиметры и даже метры»

Эта ключевая для всего текста релиза фраза представляет собой прямую ложь.

Ничего подобного авторы не обнаружили, и в своей статье в Sci. Rep. они этого не заявляли. И вряд ли в противном случае им бы удалось опубликовать статью. В самом деле, в «системе размером в сантиметры» обычно имеется порядка N ~ 1023 частиц. Это очень большое число, и никаких шансов на уменьшение энтропии в замкнутой системе такого размера авторами не предложено. Даже и для куда меньшего N ~ 104 частиц тоже не предложено. Так что никак не следует ожидать, что их деятельность «откроет возможность создания квантовых холодильников и двигателей нового типа».

Подчеркнем: всё, что имеется в исходной статье в Sci. Rep. про уменьшение энтропии в большой замкнутой системе, — это намерение авторов в будущем изучить такую возможность.

Это пример двухходовки: статья в журнале — про одно, а ее реклама — про другое. Более замысловато обстоит дело с американским примером, о котором ниже.

Американский пример

19 июля 2017 года газета The New York Times публикует статью, озаглавленную ”An Experiment in Zurich Brings Us Nearer to a Black Hole’s Mysteries” и посвященную вышедшей незадолго перед этим статье в Nature Experimental signatures of the mixed axial–gravitational anomaly in the Weyl semimetal NbP”. В авторах — большая группа физиков из Германии, Швейцарии, Испании и США.

Статья сообщает о результатах измерения проводимости и термоэлектрического эффекта в полуметалле NbP при наличии магнитного поля. Этот материал особый в том смысле, что свойства электронов в нем пограничные между металлами и полупроводниками: энергетический спектр электронов имеет особые точки ki в пространстве импульсов, около которых энергия линейно зависит от импульса: ε (k) ~ | k – ki |. Таких особых точек обязательно четное число. Это похоже на трехмерную версию знаменитого уже графена. Существует целый класс подобных веществ, они называются «вейлевские полуметаллы». Авторы измерили электропроводность этого вещества в магнитном поле B, направленном вдоль электрического поля E, и нашли, что она растет с ростом величины B. Обычно не так: проводимость металлов или полупроводников в таких условиях падает с ростом B. Обнаруженное явление связано с аналогом «киральной аномалии», давно известной в теории сильных взаимодействий. В статье при обсуждении подходов к объяснению результатов упоминается стандартный метод вычислений, основанный на формуле Кубо. Авторы измерили также зависимость термоэлектрического эффекта от магнитного поля (он, в отличие от проводимости, с «киральной аномалией» не связан).

Итак, имеется содержательный, но ничего революционного в себе не заключающий эксперимент. Опубликовать такую статью в Nature проблематично, и уж тем более это не предмет для The New York Times. Поэтому авторы начинают расцвечивать картинку. Для этого используется ранее опубликованная теоретическая статья ”Hydrodynamic theory of thermoelectric transport and negative magnetoresistance in Weyl semimetals”, где приведено схематическое вычисление зависимости термоэлектрического эффекта от величины магнитного поля, а главное, заявлено, что такая зависимость есть признак «гравитационной аномалии». Эти два слова производят магическое действие, несмотря на то что отношения к делу не имеют: термоэлектрический эффект (и зависимость его от магнитного поля) существует без таких аномалий по причинам давно известным. Но в экспериментальной статье там и здесь упоминаются явления со звучными названиями, не имеющие отношения к полуметаллу NbP, а «гравитационная аномалия» выносится даже в заглавие статьи. При обсуждении возможных интерпретаций результатов наряду с наиболее естественной (и проверяемой прямым вычислением) всегда упоминаются еще одна-две других, главное назначение которых — протянуть ниточку от обычного электрического измерения к абстрактным объектам, которые изучает теория струн. В научной статье это выглядит еще относительно скромно. Картина радикально меняется в рекламном тексте, опубликованном The New York Times: там почти ничего не говорится о реальном содержании статьи из Nature, но как минимум на 2/3 объема содержатся слова про кварки, струны, «стандартную модель», а также цитируются зажигательные реплики авторов статьи из Nature:

Dr. Landsteiner said the movement of electrons in a semimetal is very much like the behavior of matter at the event horizon of a black hole, the region where the gravitational pull is so strong that not even light can escape

Увы, движение электронов в NbP не имеет на самом деле никакого отношения к черной дыре. И про черную дыру в статье в Nature ничего не говорится.

The experiment is also a success for string theory, or at least an offshoot of the underlying mathematics. By imagining particles as strings vibrating in 10 or more dimensions, physicists have been trying to tie gravity into the Standard Model, the laws of physics that describe the other forces in the universe. But such attempts at a grand unified explanation of fundamental physics have been maligned because they do not produce testable predictions.
Here, Dr. Landsteiner said, some of the techniques that originated in string theory turned out to be useful for something different: to calculate the expected anomaly. — It puts string theory onto a firm basis as a tool for doing physics, real physics, — he said

Следите за руками, здесь три хода:

  1. эксперимент, вполне объясняемый обычными методами теории твердого тела (но можно также по-спекулировать про его интерпретации в выражениях, принятых среди пишущих «про струны», — впрочем, конкретного вычисления таким методом не приводится);
  2. теоретическая статья, содержащая весьма приблизительное вычисление подобного эффекта, но вся наполненная отсылками к возвышенным «теориям всего»;
  3. слияние 1) и 2) приводит к PR-эффекту, подобному взрыву закритической массы урана-235: на основании употребления в научной статье слов про «гравитационную аномалию» делается вывод в статье популярной: It puts string theory onto a frm basis as a tool for doing physics, real physics”. И неважно уже, что теория струн строится для 11-мерного (или более) пространства, а полуметалл существует в нашем обычном, трехмерном.

И конечно, никак не обходится без обещания «практических приложений»:

This could be opening the door to something new,” said Bernd Gotsmann, …, who said the company was investigating how the anomaly could be exploited for generating electricity out of waste heat and for other uses

Это он про обычный термоэлектрический эффект…

А также:

The advance could have practical uses in electronics, similar to how the invention of the transistor led to computer chips

Тут уже чисто ритуальное — как лозунги «Слава КПСС» в давно почившем СССР.

Выводы

С течением времени всё большая часть сочинений, как бы популяризирующих науку, будет состоять из фальсификаций. Массовый продукт, лишенный критериев быстрой оценки качества, на это обречен. Вопрос лишь в том, будет ли параллельно существовать и другая, честная и надежная, популяризация науки. Она может выжить, если найдется заметное количество ученых и научных журналистов, которые в этом заинтересованы и научатся друг другу помогать. Те журналисты, которые искренне хотят писать о реальных достижениях науки, а про bullshit писать не хотят, нуждаются в помощи научных работников, которые способны в своей области компетенции отличить одно от другого. Конкретные идеи о том, как это можно устроить, имеются.

Возможно, в области популяризации науки и сложится свой круг приличных изданий, к которым смогут обращаться люди, желающие знать, как на самом деле устроен мир.

Михаил Фейгельман,
докт. физ. -мат. наук, зам. директора Института теоретической физики им. Л. Д. Ландау


«Поток» прояснил возникшие у редакции вопросы непосредственно у автора статьи:

— Не могли бы Вы рассказать о проблемах квантовой термодинамики далеким от этой темы людям?

— Знаете, мне кажется, это так не работает. Это не тот вопрос, который можно изложить в порядке общего трепа. Таких серьезных научных вопросов, которые имеют значительную, не совсем даже понимаю почему, популярность среди публики, далеко не один. Практически на каждом из них спекулируют всякие граждане. Очень популярный предмет, на котором любят спекулировать, это теория гравитации, струн и все в этом роде. Про него [этот предмет] систематически пишут в газете The New York Times. При этом, по совершенно естественной причине никогда не происходит обсуждение этих вопросов хоть сколько-нибудь по существу: потому что по существу обсуждать этот вопрос с людьми, который предмета не изучали долго и пристально, просто невозможно.

С другой стороны, если есть реальный интерес к этой теме, то можно подумать, как устроить какую-то лекцию на эту тему, и кто бы мог такую лекцию провести, чтобы она действительно имела смысл для слушателей.

— В чем ценность конкретно этой научной статьи группы Лесовика, если рассматривать ее по сути?

— На мой взгляд, никакой особенной ценности там нет. Другое дело, что это мой личный взгляд, кто-нибудь может иметь иное по этому поводу мнение. Я там не обнаружил ничего особенно нового, нетривиального. На этом я настаивать не буду, потому что это вопрос исключительно персонального восприятия. Может быть мне кто-нибудь возьмется объяснять, помимо авторов, в чем там заключается большое достижение, правда, я такого человека еще не видел, но вдруг найдется — я с интересом его послушаю. Сразу скажу: авторов этого труда я слушать не буду. Я уже разные их мероприятия по части PR-активности видел, поэтому их разъяснениям я не доверяю.

— Применило ли руководство Вашего института (Г.Б. Лесовик — ведущий научный сотрудник ИТФ им. Ландау — прим. “Потока”) какие-нибудь меры, выговор, например, за нарушение “этики” или нанесение ущерба репутации института?

— Вы знаете, пока этого [мер со стороны руководства института] не происходило. Могу предположить, что со значительной вероятностью это вскоре и произойдет. Ну там лето было, то, се.

— С момента выхода релиза пресс-службы МФТИ о статье Лесовика уже полгода прошло…

— Это правда, это чистая правда и это, несомненно, упущение. Нужно было кому-то, не одному человеку желательно, заставить себя взять два этих сочинения [статью и анонс пресс-службы], положить их рядом, прочитать внимательно. Долго собирались, но, в конце концов, собрались. При этом у меня нету совершенно никаких претензий к пресс-службе МФТИ, потому что я еще весной задавал ей вопрос, что это такое они повесили. А они отвечали, а чего, мы, собственно, ничего не придумали, мы записали, чего нам автор сказал. Ну действительно, в такой ситуации какие к ним претензии.

— А с коллегами вы обсуждали работу Лесовика? Например, на научном семинаре, о строгости которых известно еще со времен Ландау.

— Если честно, строгость, к сожалению, поубавилась, но если говорить про само это ученое сочинение, то там особенно обсуждать нечего. Там можно обсуждать, насколько адекватная постановка задачи и всякие прочие детали, которые понятны только теоретикам, но сами выводы этого труда ничего возмутительного в себе не содержат. Ничего особенно нового по-моему тоже, но тут можно поспорить “а может, все-таки, содержит что-то новое”.

Главное безобразие заключается не в содержании этого ученого труда, безобразия в нем может и нет, может в нем вообще ничего особенного нет, мало ли таких сочинений нынче. Главное безобразие в том, что ему [результату группы Лесовика, о котором шла речь в статье] придается для публики смысл, который он заведомо не содержит. Потому что если честно писать простыми словами для публики, что же оно содержит, то никакого ажиотажа не будет, никто даже не почешется. Ну хорошо, обнаружили, что одна частица может там уменьшить свою энтропию, напугали ежа, что называется, всем понятно, что энтропия определена именно для большой системы, в которой частиц очень много. Происходит подмена понятий, мы как будто говорим об одном предмете, а используем какие-то проделанные вычисления для другого. Вот это точно нарушение научной этики, и вопрос, который имел место несколько минут назад [о мерах со стороны руководства института], совершенно справедливый и на него, я думаю, будет вскоре ответ.

— Не думали ли вы о том, чтобы поднять тему о недопустимости подобных махинаций именно в научном журнале? Вспоминается статья в Nature о проблемах российской науки.

— Я об этом не думал. Я не очень понимаю, кто бы стал рассуждения на эту тему публиковать. Вопрос, конечно, может быть специально изучен, но дело в том, что как можно видеть из второго приведенного мною примера, такого рода ситуация не специфична для нашей местности. Детали могут различаться, но вообще манера выдавать одно за другое, или, например, выдавать за рагу из кролика дохлую кошку, к сожалению, довольно распространена.

Ну и наверно важна [была бы такая статья], раз ложные вещи пишут в The New York Times, который читают по всему миру.

— И кто же будет публиковать? Ну ладно, вот Штерн (главный редактор газеты “Троицкий вариант — наука” — прим. “Потока”) опубликовал в своей газете комментарий на эту тему. А вот кто бы стал такого рода комментарий публиковать на английском языке, мне не очевидно, очень не очевидно. Хотя можно попробовать на эту тему подумать, спасибо за подсказку! Вообще я узнал про эту историю [о статье в NYT про работу группы Ландштейнера] от своего старого друга и коллеги, профессора университета в Сиэтле. Он переслал мне презентацию своего доклада, в котором как раз и разбирает вот этот сюжет про якобы гравитационную аномалию и эксперимент на веществе NbP. Такого рода вопросами он занимался профессионально. Он прочитал это все [статьи в Nature и в NYT], сильно обозлился и не поленился сделать доклад в разных местах, чтобы разъяснить гражданам, как дело обстоит на самом деле.

Правда состоит в том, что такое поведение моего друга абсолютно не типично. Абсолютно не типично. Совсем немного найдется людей, которые захотели бы заниматься подобными разборками. В этом беда современного устройства науки во всех странах. Эта беда происходит именно из того обстоятельства, которое я в этом своем тексте объяснил, что сама по себе профессия стала довольно массовой по количеству народа, который этим занимается, а никаких объективных действующих критериев оценки происходящего на уровне хотя бы года, а ни когда-нибудь там «в будущем история рассудит», я не знаю. Их просто не существует, этих объективных методов оценки. Поэтому, если возникает заметная доля граждан, которые считают возможным жульничать, то они это успешно делают.

— Может быть, ученый просто заблуждается в своей правоте? Вот он обсудил с коллегами работу и никто его не поправил, вот он прошел все стадии рецензирования в Nature или Science и начал искренне верить, что находится на пороге большого открытия.

— Такое тоже бывает. Думаю, что имеется некоторый непрерывный спектр от добросовестного заблуждения до отъявленного жульничества. В любой пропорции может быть смешано. Действительно, это тяжелая история, у нее нет простого решения.

— Безысходность…

— Не то что бы безысходность, ведь разного рода бывают тяжелые проблемы. Например, все мы умрем, никто ж с этим не спорит. Как-то живут люди с этим осознанием. То, что никакого радикального способа победить эту заразу вышеописанную неизвестно… Да, неизвестно. Но дальше каждый решает за себя, как ему себя вести. Хочет он обращать внимание на то, что недалеко от него происходит такая-то ерунда, или не хочет — всякий раз персональный выбор.

— Может быть вы еще хотите что-нибудь сказать?

— Я хочу сказать, чем именно деятельность, которую я охарактеризовал в своем тексте, кажется мне наиболее нехорошей. То, что там какой-то абстрактной публике вешают лапшу на уши, это, конечно, нехорошо, но мало ли вешают лапшы на уши всякой разной. Меня больше всего бесит то, что этим сбивают с толку конкретных живых людей, студентов младших курсов, которым надо выбирать, чем им заниматься. Буквально говоря, это обман детей. И вот это очень нехорошо. Ясное дело, что всем хочется фундаментальное открытие сделать. Естественное желание. А спекуляции на этом естественном желании – это очень нехорошо.


После публикации на странице «Потока» редакция портала отправила Гордею Лесовику просьбу предоставить комментарий.

UPD: «Поток» получил комментарий от Гордея Лесовика. С ним можно ознакомиться по ссылке.

Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.

Поделиться

comments powered by HyperComments