?

Log in

No account? Create an account
Quizzing the Anonymous
Ignoramus et ignorabimus
Предсказания. 3 
16th-Jun-2018 07:06 pm
thinking
Когда мне в феврале прислали циркуляр о немедленном поголовном использовании машинного обучения, к нему был приложен образец для подражания: только что опубликованная статья о применении новаторского метода к "предсказанию" вязкости ионных жидкостей как функции композиции, температуры и давления. Авторы уверяли, что это чрезвычайно сложная задача. Сначала они пробовали линейную регрессию с лассо. Не получилось. Потом нейронную сеть (100 нод - это на 700+ измерений!). Получилось - слава нам, ура!

Я посмотрел детали ударной работы, и у меня буквально отвисла челюсть. Вязкость жидкости подчиняется уравнению Аррениуса: ее логарифм пропорционален обратной температуре. Если диапазон температур относительно невелик, возникает пропорциональность логарифма вязкости изменению температуры и его квадрату. Вместо этого авторы коррелировали вязкость и логарифм температуры! Немудрено, что регрессия не работала, и потребовалась нейронная сеть, чтобы исправить нелинейности. К статье были приложены данные, и я за интерес (мне все равно надо было отладить свою программу) их проанализировал. Я сразу получил лучшие результаты с небольшим числом параметров. "Трудность" задачи заключалась исключительно в использовании ошибочной формулы. Этот нонсенс предлагался нам как образец для вдохновений и подражаний.

Я написал авторам статьи об ошибке, и получил от них замечательный ответ. Да, - писали они, - произошло досадное недоразумение, но эта ошибка убедительнейшим образом доказывает огромный потенциал машинного обучения, так как нейронная сеть исправила неправильную формулу!

Чистому все чисто.

***

Все это напомнило мне другую историю.

У меня есть соавтор, который в юности был постдоком у корифея-теоретика, ныне члена Национальной Академии. Неважно, чем он у корифея занимался, но в своих вычислениях он существенно использовал электронный псевдопотенциал, который незадолго до того вывел другой постдок того же корифея. На этом псевдопотенциале у группы были уже десятки статей, а после их прорывных публикаций его использовали многие другие группы - и мой соавтор тоже в своем одиночном плавании, а через него и я. Многие сотни статей.

У корифея-теоретика был друг в том же университете, корифей-экспериментатор. Корифей-теоретик наводил теорию, а корифей-экспериментатор ее тут же подтверждал во всех деталях. Ни у кого другого воспроизвести эксперименты не получалось (и не получилось). Экспериментатор рано умер, и земля ему пухом, о покойных только хорошее. Но пока тот был жив (а он был очень влиятельным человеком), он делал абсолютно все, чтобы подавить дальнейшие исследования в этой области в Америке.

Прошло 20 лет, и мой соавтор давно профессор в Калифорнии. Выдумал он новый способ вывода псевдопотенциала и решил сравнить со старым. Сравнил - никакого подобия. Проверил выкладки, программы, сам замучился и студентов замучал - нет ошибки. Залез он в код старого потенциала, и сразу обнаружил там ошибку. Она была уже в формулах: в одном из интегралов был пропущен якобиан. Сотни людей ссылалось на статью, никто не проверил выкладок. Он говорил, что у него померк свет в глазах. У него одного статей 30 с этим псевдопотенциалом. Он разослал всем циркулярное письмо о своей находке.

Затем он опубликовал корригендум на все предыдущие работы, объяснив что случилось. Он так же исправил ошибку, и после этого половина результатов пошла в мусорную корзину. Новый же его псевдопотенциал дал качественно другие результаты: эффекты оказались чрезвычайно чувствительны к форме потенциала. Это похоронило дальнейшие надежды описания эффекта с помощью псевдопотенциалов: это оказался тупик. Из-за совпадения результатов ошибочных вычислений и невоспроизводимых экспериментов вся область задержалась на 25 лет. С тех пор в ней значительный прогресс.

Когда был опубликован корригендум, корифею-теоретику редакция предложила написать ответ. И он написал. Ответ занимал ровно один параграф. Суть ответа была в том, что его теории настолько замечательные, что все правильно описывают даже с ошибочным потенциалом.

Чистому все чисто.
Comments 
17th-Jun-2018 03:21 am (UTC)
и как тогда эти ошибочные теории подтверждались экспериментатором? Явный же подлог, очередной Сералини так сказать.

Из-за совпадения результатов ошибочных вычислений и невоспроизводимых экспериментов вся область задержалась на 25 лет.
Я конечно не академик, но хотелось бы уже уголовную отвественность за science fraud как минимум.
17th-Jun-2018 05:05 am (UTC)
Там были неоднозначные эксперименты на пределе тогдашнего временного разрешения и тенденциозная интерпретация. Безусловно он сам себе заморочил голову. Когда тебе все время шепчут в ухо, какие должны получаться результаты, можно серьезно обмануться. Тут ни у кого нет проблем, это плохо, но бывает.

Однако, когда пошли опровержения, несовместимые результаты, предложения дополнительных экспериментов и т. д., его поведение перестало вписываться в любые приличные рамки. Он заворачивал статьи, склочничал с редакторами, требуя отзыва неправильных, по его мнению, статей, звонил в НСФ и другие агенства, устраивал черте-что на конференциях. Я имел неосторожность однажды публично усомниться в его результатах, после этого он звонил моему начальству с требованием меня немедленно уволить, в агенство, которое меня поддерживало, с требованием перестать меня поддерживать. Его послали и там и там но сам факт поразительный. У меня были серьезные неприятности. И таких историй не одна и не две. В результате таких волнений и переживаний в 55 лет он заработал массивный инфаркт и умер. А был когда-то очень хороший лазерщик и духа-парень. Я знал его, и не одну банку пива с ним раздавил. Но потом дьявол познакомил его с этим корифеем-теоретиком, тот его перетянул в свой университет в Техас, там он стал большим начальником, и после этого полностью преобразился. А так был бы жив и здоров сегодня. Трагическая судьба, на самом деле. Жалко его.
17th-Jun-2018 03:45 am (UTC) - Псевдопотенциал - на свалку!
// Новый же его псевдопотенциал дал качественно другие результаты: эффекты оказались чрезвычайно чувствительны к форме потенциала. Это похоронило дальнейшие надежды описания эффекта с помощью псевдопотенциалов: это оказался тупик.

- Хочется плакать и смеяться одновременно. Смеяться, потому что "я так и знал!", а плакать, потому что страшно жить в этом доме, в котором встречаются сумасшедшие.
17th-Jun-2018 04:36 am (UTC) - Re: Псевдопотенциал - на свалку!
Их много было, таких сумасшедших: для этой задачи (для которой это естественный подход) их использовали, наверно, в нескольких десятках тысяч статей, начиная с конца 1940-х. Надо отдать корифею должное - из всех он первый попытался этот псевдопотенциал вывести из первых принципов, а не постулировать его от балды или подобрать так, чтоб совпало с измерениями. Поэтому за этот потенциал все сразу так и ухватились. И на тебе...
17th-Jun-2018 05:13 am (UTC)
Ох, я на пути к кандидатской подобного говна столько насмотрелся, что разочаровался в науке насовсем. Защитился и сбежал. Если бы за науку хоть платили нормально, а так... Совесть выгоднее продавать в коммерческом секторе.
17th-Jun-2018 05:27 am (UTC)
Тут можно вспомнить ещё недавний шухер у мозгоправов, когда обнаружилась ошибка в одном из самых популярных алгоритмов обработки результатов fMRT. Ну то есть картинки активности мозга год за годом рисовались неправильно, а люди честно пытались уловить из них, как мозг работает. А если очень хочется найти объяснение графику, висящему кверх ногами, оно обязательно найдётся.
17th-Jun-2018 02:14 pm (UTC)
Ой, а можно, плиз, ссылку? а то нам, кажется, предстоит с этим работать - не хотелось бы лишних ошибок.
17th-Jun-2018 06:22 am (UTC)
Кстати. На эту тему могу предложить статью

Distilling Free-Form Natural Laws from Experimental Data — Schmidt and Lipson 324 (5923): 81 (2009)

в который поставлены более амбициозные цели. В свое время мне дали на нее ссылку хемометрики.
17th-Jun-2018 06:31 am (UTC)
Помнится, Джон Иоаннидис написал статью,что более 50% биологических статей неправильны - а теперь оказывается, что физхимия, которая намного лучше проверяется, рискует опуститься на тот же уровень...
17th-Jun-2018 06:49 am (UTC)
Я в одной статье температуру вместо кельвинов в цельсиях подставлял. Как раз в уравнение Аррениуса...
17th-Jun-2018 06:51 am (UTC)
Это что, у нас космическое агенство неоднократно фунты с килограммами путало.
17th-Jun-2018 07:11 am (UTC)
Раз уж тут химики собрались. Давно хотел спросить: существует ли такой полимер, как называется, и какие свойства имеет?


- CH - CH - CH - CH -
  |    |    |    |
- CH-O-CH-O-CH-O-CH-O-
17th-Jun-2018 07:53 am (UTC)
Не существует и стерически не может существовать. Если без связей наверху, то это полиацетальдегид, и он стабилен при низкой температуре. При комнатной постепенно распадется обратно на мономеры.

17th-Jun-2018 08:01 am (UTC)
Ну это не совсем закон Аррениуса, минус же.
17th-Jun-2018 08:07 am (UTC)
Во второй истории человек подвиг совершил.
17th-Jun-2018 10:36 am (UTC)
Это что, типа Лысенко что ли?
17th-Jun-2018 02:52 pm (UTC)
Да полноте.
17th-Jun-2018 02:50 pm (UTC)
Ваш соавтор очень достойный человек - побольше бы таких. Но увы.
Можно ожидать, что уже в недалеком будущем улучшающийся потенциал нейронных сетей достигнет снижающийся человеческий, и наступит конвергенция, о которой там много говорили футурологи.
17th-Jun-2018 03:31 pm (UTC)

Я недавно у себя в журнале опубликовал следущую теорему:


Растущие возможности искусственного интеллекта будут нейтрализованы идиотизмом людей его применяющих чуть менее чем полностью.


Спасибо за иллюстрацию!


Циркуляр поразительный. Никогда бы не подумал, что такое возможно в академии, тем более в таком престижном месте.

17th-Jun-2018 04:04 pm (UTC)
Циркуляр - не местная инициатива. Народный академический почин. Я состою членом всеамериканского консорциума по электрохимическому хранению энергии (> 30 организаций, $100м), который готовился заново подать финансовую заявку на сл. пятилетний цикл. У него есть виртуальный директорат. Так они решили, что раз машинное обучение - наше светлое будущее, все в заявке должно быть на него завязано. Машинное обычение для того, машинное обучение для сего. Далее было по Аверченко ("бедные слепцы"). Поскольку они к тому же обновляли команды для нового цикла (60% с предыдущего цикла вылетело), ультиматум был очень действенным. Либо ты не соглашался с почином, и тогда автоматически вылетал из консорциума со сл. года. Либо обязывался применять в своих ученых занятиях машинное обучение и опубликовать как минимум одну статью с его применением до мая месяца (когда подавалась заявка). Ну, я не готов ставить крест на трехлетнем проекте до его завершения из-за подобной ерунды. Пришлось принять условия. Я едва успел втиснуть революционный метод в одну из статей, как в мае прогремел отбой.

Автором циркуляра был, между прочим, член Национальной Академии, а не чинуша какой-нибудь. Чинуши же положили народной инициативе решительный конец. Циркуляр исходил именно из академии; сами, все сами. Эпизод эпический, надолго запомнится. Классический массовый психоз.
18th-Jun-2018 10:55 pm (UTC)
А не подскажете, что за псевдопотенциал был? А то я их тоже использую, вдруг все мои работы тоже… того?
20th-Jun-2018 06:53 am (UTC)
e- + H2O
21st-Jun-2018 02:29 pm (UTC)
Профессор, а вы не пробовали подход как у D.E.Shaw Research с их Антоном? Самостоятельно такое строить дорого, конечно, но, может, арендовать у них время? Задачи- то похожие вроде.

--
Коган- варвар
22nd-Jun-2018 04:53 am (UTC)
У нас теперь целое подразделение машинистов, пусть разбираются.
Page 1 of 2
<<[1] [2] >>
This page was loaded Aug 25th 2019, 2:31 pm GMT.