shkrobius (shkrobius) wrote,
shkrobius
shkrobius

Category:

Предсказания. 2

Зимой, по случаю всеамериканского умопомешательства на машинном обучении, начальство спустило циркуляр: всем немедленно применять сей передовой метод, отстающих выгоним (буквально, не шучу). Случился переполох. Через два месяца - стоп-машина, отбой, метод применять только по необходимости (начальство начальства внушило последнему, что самому главному начальству важен результат, а не метод его достижения).

***

Для батареек мы придумываем молекулы с труднореализуемыми свойствами. Я занимаюсь их физхимией; Лю их варит и испытывает, вместе мы разбираемся в результатах испытаний. Нарисовать формулу можно быстро, а синтез занимает недели, а то и месяцы. Ни интуиция Лю, ни моя физхимия не гарантируют успеха. Соединения должны пройти два теста, легкий и тяжелый. Даже легкий тест получается предсказать хуже, чем в половине случаев; с тяжелым тестом полная хана. Много сил уходит на синтез веществ, которые заваливают тесты.

Мы прикинули: раз такое дело, пусть решает машина. И для нас польза, и начальство довольно.

***

Почитав немного про машинное обучение (жена как раз брала стэндфорский курс), я понял, что из начальственных затей ничего не выйдет: данных слишком мало. Тогда я по ее совету решил попробовать логистическую регрессию, чтоб программа предсказывала вероятность прохождения первого теста. Переменными служат молекулярные дескрипторы: есть программы, которые их генерируют тысячами. Это, в основном, автокорелляторы атомных свойств через столько-то химических связей, но есть более заковыристые. Я соединил генетический алгоритм отбора дескрипторов с логистической регрессией, чтобы выбрать небольшое число самых важных дескрипторов. Поскольку "хороших" молекул немного, я добавил к ним "плохих": взял забракованные молекулы и сделал их еще хуже. Я натворил тысячи таких "плохих" молекул, чтобы хорошенько натаскать на них программу. Все сработало. Я нашел классификатор о пяти дескрипторах, который отлично классифицировал все, что я ему подсовывал, и посчитал свою задачу выполненной. Лю просиял, кода я ему об этом сказал.

Затем произошло непредвиденное.

***

Я показал Лю, как классификатор классифицирует молекулы. Он покивал головой, потом спрашивает: а как он это делает?

- Берет линейную комбинацию дескрипторов.
- Что они означают?
- Это и то.
- Мне неясно, что это за свойства, и почему они коррелируют с прохождением теста. Мы такими свойствами обычно не пользуемся.
- Мне это тоже неясно.
- Тогда ты должен создать теорию, почему и как работают эти дескрипторы. Разве ты не для этого написал программу?
- К сожалению, я не знаю, как такую теорию создать. Эти дескрипторы не говорят, какие барьеры каких реакций мне нужно рассматривать.
- Я не могу тратить недели на синтез, если не знаю, как работает твой классификатор.
- Но ты же сам нередко ошибаешься, подбирая новые молекулы, и это тебя не останавливает.
- Потому что это мои ошибки и мое время.
- Ты мне иногда жаловался, что плохо понимаешь мои доводы. Я твою структурную интуицию тоже не всегда понимаю, а объяснить ты мне ее не можешь. Тем не менее ты доверяешь мне, а я тебе. Мы верим, что за нашими доводами стоит некий образ мысли. И за классификатором тоже что-то стоит. В чем разница?
- "Хорошие" молекулы отобраны моим согласием синтезировать эти молекулы, - т.е. твоя программа отражает мою интуицию, и не более. Но есть разница. Моя интуиция хорошая, а твоя программа - плохая. Свою интуицию я понимаю, а твою программу не понимаю.
- Если у тебя такая замечательная интуиция, почему она часто отказывает? Наших интуиций нам явно не хватает, потому мы и решили попробовать программу. Ты не можешь всерьез ожидать, что такая программа будет 1) интуитивна и 2) при этом классифицировать лучше, чем твоя интуиция.
- Да, моя интуция иногда сбоит. А твой классификатор как часто будет отказывать?
- Откуда я знаю, если ты не хочешь даже попробовать?
- Будет ли он достоверно предсказывать "хорошее" соединение?
- Вряд ли.
- Можешь ли ты доказать, что он будет отказывать реже, чем моя интуиция?
- Не могу.
- Тогда зачем он нужен? У меня уже есть несовершенная интуиция, и мне не нужен несовершенный черный ящик. Я ожидал от тебя другого. Я хотел, чтобы компьютер чертил самые лучшие молекулы, а не судил, какая из начерченных мною может оказаться хорошей.
- Пойми, это тупая машина, у нее нет воображения. Но я могу комбинаторно наделать молекул, а она их потом оценит.
- Как ты будешь делать эти молекулы?
- На основе того, что работает.
- Это поиск ключа под фонарем. Так мы будем вертеться вокруг того, что уже знаем и не найдем ничего нового.
- Тогда зачем ты согласился на всю эту затею?
- Я ожидал программу, которая вообразит и оценит тысячи соединений и найдет среди них лучшие. А ты написал неизвестно что неизвестно зачем.
- Давай попробуем на бумаге.
- Попробуем что?
- Нарисовать новые молекулы, дать их машине, а мы их потом оценим и сравним. Если мы сойдемся на 70% - попробуем в жизни?
- Хорошо, давай.


Мы напридумали молекул, машина выбрала "хорошие", и после этого мы резко разошлись во мнениях, правильно ли машина их отклассифицировала.

Последствия на этом не закончились. После многодневных жарких споров, Лю заявил, что если для меня внутренне приемлимы подобные методы, он более не может доверять моей интуиции. Он не может наверно знать, что мои предложения имеют под собою рациональную основу. Слово за слово, кончилось тем, что мне пришлось дать ему честное пионерское, что я никогда, никогда не буду пользоваться программой - или мы более не работаем вместе.

Вот тебе и машинное обучение... Мой ближайший коллега на 20 лет меня моложе стал сомневаться в моей профессиональной пригодности и представил меня перед ультиматумом.

На хер мне сдалось такое обучение.

***

Для Лю это не просто решение о молекулах, это решение о днях его жизни, которые небесконечны. Черный ящик не может решать, как и на что ему тратить эти дни.

Я-то наивно полагал, что трудность с машинным обучением будет обучить машину...

В назидание дан пример оный.
Subscribe

Recent Posts from This Journal

  • Contents

    If a man will begin with certainties, he shall end in doubts; but if he will be content to begin with doubts, he shall end in certainties. (Bacon)…

  • Канадские загадки

    Гостил у сына в Монреале и увидел в местной газете неизвестную мне загадку (они ее binaire называют). Пишут, она возникла в Японии, оттуда…

  • Индийский желтый

    Мне нечего стыдиться: мои Тернеры висят в Лондоне, Нью-Йорке, Париже, Берлине, Вене. Я прочел все, написанное о его живописи, - а это сотни полотен…

  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your IP address will be recorded 

  • 127 comments
Previous
← Ctrl ← Alt
Next
Ctrl → Alt →
Previous
← Ctrl ← Alt
Next
Ctrl → Alt →