Самая нефиговая модель что значит
Что такое NFT и почему они приносят миллионы
Все говорят о сделках с NFT на сотни тысяч и миллионы долларов. Что там продают?
С помощью NFT можно продать почти любой виртуальный объект — изображения, музыку, тексты, 3D-модели. Но чаще всего речь идет об объектах цифрового (или оцифрованного) искусства.
Аукционный дом Christie’s продал работу художника именно в виде NFT. За 255-летнюю историю площадки это первый такой случай и одновременно — самая крупная сделка в истории на рынке NFT.
Участие Christie’s и итоговая сумма сделки подогрели хайп вокруг нового инструмента. На следующий день после аукциона Christie’s российский художник Покрас Лампас сделал свой NFT. Оригинал работы был написан на холсте, затем оцифрован и спроецирован на бетонные сооружения Чиркейской ГЭС — крупнейшей гидроэлектростанции Северного Кавказа. После этого художник перевел фото проекции в токен и выставил на продажу.
Работа высмеивает коллекционеров, тратящих большие деньги на предметы искусства. На трафарете изображен аукцион: его участники борются за картину с надписью I canʼt believe you morons actually buy this shit («Не верится, что вы, кретины, реально скупаете это дерьмо»).
Илон Маск тоже не мог остаться в стороне от шумихи. Он спродюсировал трек про NFT и объявил в своем Twitter, что собирается его продать как токен.
Как цифровые объекты превращаются в NFT?
Это происходит на специальных платформах, работающих с NFT. Есть несколько популярных площадок — например, Rarible, Mintable, OpenSea. Последняя — самая крупная. Все они являются одновременно NFT-маркетплейсами и NFT-мастерскими.
Для создания токена понадобится кошелек в системе Ethereum (криптовалюта и блокчейн-платформа, созданные выходцем из России Виталиком Бутериным. — РБК Тренды), а также файл с цифровым контентом. Обычно алгоритм действий похож на работу с виртуальным фотоальбомом. Просто создаете коллекцию и добавляете в нее медиафайл (или файлы) в любом из доступных форматов — от PNG до MP4. Каждому файлу нужно придумать название и, желательно, описание.
Теперь остается только нажать кнопку Create. Площадка сама создает токен и отправляет его на верификацию. Некоторые платформы делают это с отсрочкой: токен создается уже после того, как на медиаконтент нашелся покупатель.
Схема монетизации у платформ разная: одни берут комиссию с покупателей NFT, другие — с автора (продавца). Размер комиссии тоже отличается — от десятых долей процента до 10% и более процентов от суммы сделки.
Так что такое NFT?
NFT — это non-fungible token, невзаимозаменяемый, или уникальный токен. Работают NFT на блокчейне, впервые они появились еще в 2017 году в системе Ethereum.
Сам по себе блокчейн фактически является реестром записей. Например, биткоин или эфир — записи в блокчейне. NFT — тоже. Такие токены, как и любую криптовалюту, можно хранить в своем криптокошельке и совершать с ними транзакции, покупать и продавать.
Но есть важное отличие. Биткоины, эфиры, прочие цифровые валюты и даже реальные деньги легко заменяют друг друга и делятся на части. Скажем, 0,1 биткоина или 0,1 эфира, как и 0,1 руб. — неуникальны. Их можно поменять на любые другие 0,1 биткоина, 0,1 эфира или 0,1 руб.
NFT нельзя разделить на части или заменить на аналогичный токен. С этой точки зрения NFT обладает всеми свойствами уникального предмета в физическом мире.
Понятнее не стало. У NFT есть четкое определение?
Единого и четкого определения для уникальных невзаимозаменяемых токенов нет и, вероятно, не появится. Попробуем привести более приземленный пример.
Когда вы покупаете квартиру в России, запись об этом появляется в Едином государственном реестре недвижимости (ЕГРН). Эта запись регистрирует и доказывает ваши права на объект. Там указаны ваши личные данные и параметры квартиры. Так реальный объект недвижимости связывается с записью, подтверждающей права на него.
NFT — тоже реестровая запись, но в блокчейне. Она содержит в себе сам цифровой объект, например, картину Everydays: The First 5000 Days, информацию о создателе произведения (так NFT помогают защищать авторские права) и данные о владельце, а именно — номер его кошелька в системе Ethereum.
Кроме того, в NFT вшит определенный набор прав владельца. Обычно это разрешение на свободную демонстрацию изображений или проигрывание музыки и видео. Но иногда продавцы включают в токен весь набор авторских прав.
Таким образом, NFT — цифровое имущество (картины в формате JPG, аудиодорожки, видео, фотографии и много другое) плюс набор определенных прав на него. И с технической точки зрения неважно, идет ли речь о настоящем искусстве или о случайно созданном файле.
Откуда такой хайп вокруг NFT и такие суммы сделок? Люди сошли с ума?
Ажиотаж вокруг NFT только на первый взгляд кажется безумным. Давайте сделаем несколько шагов назад.
Ни о каких уникальных токенах или авторских правах речь здесь не идет: пользователи платят реальные деньги за кусок кода и картинку на экране. Причем принадлежит все это разработчикам — Valve в случае с Dota 2 и Team Fortress 2 или Blizzard в случае с Diablo 3.
Изображение T206 Honus Wagner легко найти в интернете. Посмотреть на него может каждый. Но оригиналом бейсбольной карты владеет тот, кто за нее заплатил. Так и с NFT, которым стала, к примеру, фотография проекции работы Покраса Лампаса на ГЭС. Фотография доступна всем, у кого есть доступ в Сеть. На нее можно посмотреть в Instagram художника. Но NFT с этим фото — уникальный цифровой объект, и он хранится в криптокошельке единственного владельца.
Если принять во внимание все эти факты, то NFT-бум уже не кажется чем-то странным. Почва для него давно была подготовлена геймерами и коллекционерами.
А причем тут котики?
«Криптокотики» (CryptoKitties) — популярная игра на блокчейне Ethereum, запущенная в конце 2017 года. Здесь пользователи создают, покупают, продают и разводят виртуальных котят.
Получается, NFT — это дорогая игрушка для геймеров и коллекционеров?
NFT, как и блокчейн с криптовалютами, — это всего лишь инструмент. Использовать его можно по-разному. Теоретически, в NFT можно упаковать что угодно, любой цифровой объект.
Сейчас NFT как инструмент активнее всего используют для распространения цифровых коллекционных предметов. Криптокотики, карточки с покемонами, работы Покраса Лампаса, Бэнкси и Beeple прекрасно оцифровываются и, с одной стороны, удовлетворяют тягу людей к коллекционированию, с другой — поддерживают создателей искусства.
Но использование уникальных токенов не ограничивается одним только коллекционированием.
Так, в 2019 году Nike запатентовала систему проверки подлинности кроссовок CryptoKicks. При покупке пары обуви генерируется NFT. Как и в случае с криптокотиками, такой токен содержит всю «родословную» кроссовок: данные о производителе, внешний вид и особые параметры, информацию о перепродажах.
Дальше виртуальная обувь начинает жить своей жизнью. Владельцы уникальных токенов с цифровыми кроссовками смогут скрещивать пары (да, опять как в CryptoKitties), и получать потомство, но уже в виде реальной обуви. Впрочем, новостей о CryptoKicks с 2019 года не было: похоже, пока эти планы остаются на бумаге.
Еще один пример связки реального и виртуального мира через NFT — проект Crypto Stamp австрийской почтовой службы. Это почтовые марки, привязанные к токенам. Их используют для отметки реальных почтовых отправлений. При этом каждая марка сохраняется на блокчейне и может быть частью цифровой филателистической коллекции.
А я могу дорого продать свои файлы с помощью NFT?
Скорее всего, здесь вы немного опоздали. В продажу и создание NFT уже включились коллекционеры и известные художники. Поэтому придумать что-то хайповое и привлечь внимание к своим цифровым произведениям обычным пользователям довольно сложно.
Судя по последним новостям и участию таких игроков как Christie’s, в 2021 году рынок NFT может еще раз рвануть вверх. Но как долго продлится этот рост и что будет с ценами на уже реализованные цифровые объекты, предсказать невозможно.
С 1 января все госзаказы в строительстве переходят на BIM. Что это значит
— С 1 января 2022 года все государственные строительные заказы в России должны проектироваться в BIM. О каких объемах строительства идет речь?
— Говоря о государственных строительных заказах, речь идет в первую очередь о социальных объектах, транспортной, инженерной и другой инфраструктуре. По данным Счетной палаты за 2020 год, в общем объеме государственных и корпоративных закупок почти 22% приходится на сооружения и строительные работы. Если говорить об объемах строительства, то, к примеру, в рамках Федеральной адресной инвестиционной программы (ФАИП) в текущем году было предусмотрено финансирование в размере почти 1 трлн руб. Это значительный объем, и начиная со следующего года все новые договоры будут заключаться с условием применения технологий информационного моделирования. Здесь также необходимо отметить, что действие постановления правительства № 331 от 05.03.2021, где определен перечень случаев, при которых должна использоваться информационная модель, распространяется только на новые договоры, финансируемые с привлечением средств бюджетной системы Российской Федерации, по проектированию и реконструкции.
— Готова ли строительная отрасль к такому шагу? Хватает ли программного обеспечения, специалистов?
— Минстроем предлагается осуществить эволюционный переход на использование ТИМ. Мы планируем, что после 1 января 2022 года госзаказчики будут формировать и вести информационные модели объектов капитального строительства и использовать цифровые информационные модели (ЦИМ, они же BIM-модели) на этапе проектирования, а на следующих шагах будет обеспечено применение ЦИМ на всех этапах жизненного цикла.
При этом если за последние годы у нас произошло увеличение количества программных продуктов, позволяющих работать с информационными моделями, и повышение функциональности отечественного BIM ПО, то, говоря о специалистах, здесь, к сожалению, в отрасли существует дефицит. Потребность в специалистах на рынке труда постоянно увеличивается. Для обеспечения госзаказа к 2024 году их потребуется более 250 тыс. человек, и речь обо всех участниках процесса, включая представителей заказчика и экспертизы. Сейчас мы активно работаем в этом направлении. Обучение по технологиям информационного моделирования организовано в Университете Минстроя России. Кроме того, чтобы решить проблему нехватки квалифицированных кадров на рынке труда, ряд компаний и университетов организовывает курсы и программы по обучению таких специалистов. Так, например, на базе Единого института развития в жилищной сфере «Дом.РФ» открыта цифровая академия, в которой ежегодно будет обучаться до 4 тыс. специалистов в области технологий информационного моделирования. В этом году на базе МГСУ — по сути, ведущего строительного вуза в стране — создан отраслевой консорциум по строительству и архитектуре. Развитие кадрового потенциала стройотрасли — ключевая цель создания консорциума. Мы рассчитываем, что подготовка квалифицированных специалистов в сфере ТИМ в перспективе станет одним из основных направлений его деятельности.
— Кстати, а в каких программах будут работать российские проектировщики и строители?
— Сейчас сформирован список российского программного обеспечения, включенного в Единый реестр российских программ и обеспечивающего применение технологий информационного моделирования. Исходя из этого списка можно увидеть, что у нас уже существует широкий выбор отечественного ПО, охватывающий различные этапы инвестиционно-строительного проекта, начиная от разработки цифровых информационных моделей архитектурных и конструкторских решений, решений по инженерно-техническому обеспечению зданий и заканчивая развертыванием и управлением средой общих данных для работы с информационными моделями объектов капитального строительства на различных стадиях жизненного цикла.
— Возможно и нужно ли импортозамещение в этом процессе?
— Несмотря на то что ведущие иностранные BIM-программы существуют несколько десятков лет и имеют огромный опыт практического использования, это не остановило отечественных разработчиков в создании собственных программных продуктов данного направления еще в прошлом десятилетии. Конечно, участники рынка не могли не обратить внимания на иностранный опыт использования BIM. В свою очередь, создание широкой линейки отечественного ПО позволяет нам снизить технологическую зависимость от иностранных поставщиков. На протяжении нескольких последних лет можно наблюдать устойчивый тренд постепенного развития компетенций отечественного ПО в этом направлении. На данный момент список российского программного обеспечения, включенного в Единый реестр российских программ и обеспечивающего применение технологий информационного моделирования, насчитывает более 50 решений, и это не закрытый, исчерпывающий список. Количество отечественных решений растет практически ежегодно.
— Как технически все это будет устроено? Как станет осуществляться контроль?
— С учетом того что максимальный уровень применения BIM-технологии на сегодняшний день достигается на этапе архитектурно-строительного проектирования, основную контролирующую функцию сейчас выполняют органы государственной экспертизы. Для объектов госзаказа разработаны классификаторы и требования к цифровым информационным моделям объектов, включая линейные объекты, а также методики расчета стоимости проектных работ с использованием технологий информационного моделирования.
— Будет ли BIM-проектирование обязательным для коммерческого и частного строительства? Частные компании уже перешли на BIM-проектирование?
— В отличие от бюджетного строительства государство не может обязать частные компании внедрять ТИМ при строительстве коммерческих объектов. В данном вопросе использование технологий информационного моделирования остается на усмотрение самих компаний, которые в большинстве своем только сейчас начинают осознавать все преимущества от их внедрения. В рамках поддержки внедрения постановления правительства № 331 от 05.03.2021 в субъектах Российской Федерации были разработаны типовые формы технических заданий на выполнение работ по разработке проектно-сметной документации на инвестиционно-строительный проект с применением информационной модели.
К сожалению, большинство участников отрасли используют технологии информационного моделирования только на стадии проектирования, что не дает возможности раскрыть весь их потенциал. Тем не менее в России уже появились компании, которые применяют ТИМ и на других стадиях жизненного цикла, в том числе и на этапе эксплуатации.
В банковском сообществе также прорабатываются вопросы о снижении ставки по проектному финансированию для частных компаний, использующих ТИМ. Благодаря такому решению компании в перспективе смогут компенсировать расходы на внедрение ТИМ, а банки — снижают собственные риски благодаря прозрачному и понятному контролю бюджета.
— Какова глобальная цель такого шага? В чем экономический эффект?
— Существуют разные исследования, которые называют цифру от 2% до более 10% получаемой экономии средств при внедрении технологии информационного моделирования. Наличие разных цифр и данных в свою очередь приводит к отсутствию ясного понимания и сложности подсчета экономического эффекта на краткосрочном горизонте планирования. Однако есть исследования, говорящие нам о том, что, например, в Австралии повышение той самой производительности труда в строительной отрасли на 10% приводит к увеличению валового внутреннего продукта экономики более чем на 2,5%. На данный момент национальными программами (цифровая экономика, жилье и городская среда) перед строительной отраслью поставлены достаточно амбициозные цели — 120 млн кв. м жилищного строительства в год, 5 млн семей, улучшивших свои жилищные условия, ежегодно, прирост среднего индекса качества городской среды. Внедрение технологии информационного моделирования направлено на повышение устойчивости строительной отрасли, рост ее инвестиционной привлекательности за счет сокращения сроков реализации инвестиционно-строительного проекта (рост скорости оборачиваемости средств), поддержку реализации поставленных в национальных программах целей.
Примеры успешного использования ТИМ существуют и в России. Так, при строительстве Центра гимнастики Ирины Винер-Усмановой в Лужниках число ошибок при строительстве удалось сократить в четыре раза.
На рынке есть примеры компаний, которые благодаря цифровизации смогли увеличить производительность труда на стройплощадках на 49%.
И таких примеров становится в отрасли все больше. Все вышесказанное приводит к заключению, что при внедрении новых технологий в строительную отрасль можно в долгосрочной перспективе добиться существенной экономии средств и времени для всех участников процесса.
Отметим, что, помимо госсектора, цифровые технологии (BIM и TIM) активно развивают и ведущие российские застройщики. Так, Группа «Эталон» комплексно использует BIM с 2012 года. В настоящее время девелопер активно развивает проект «BIM в эксплуатации», благодаря которому можно эффективно планировать даты обслуживания и ремонта инженерных систем. Группа «Самолет» планирует за пять лет потратить на цифровизацию бизнеса 8 млрд руб. ГК «ПИК» перевела несколько тысяч своих проектировщиков на постоянный режим удаленной работы. Компания «Брусника» совместно со Сбербанком продолжает реализовывать проект по стройконтролю на базе BIM 360 (Autodesk), дающий экспертам финансового учреждения доступ к операционным данным девелопера. Разработанное решение позволяет обеспечить прозрачность строительного процесса для всех участников (проектировщиков, подрядчиков, заказчика и банка) и в перспективе снизить ставку по проектным кредитам. Технология BIM-моделирования стала важной составляющей процесса проектирования домов жилого комплекса «Зиларт» от «Группы ЛСР».
Дизайн персонажа. От простого к замысловатому. Часть 1. Основы
Искусство дизайна персонажей годами накапливало знания, приёмы и хитрости, которые художники используют сегодня, чтобы воплотить в жизнь самые разные замыслы. Попробуем заглянуть за кулису этого процесса и понять, как устроена работа над внешним обликом персонажа для мультфильмов и мультсериалов.
Прежде чем углубиться в то, какого оттенка голубого должны быть глаза у прекрасного принца, необходимо заложить надёжный фундамент для образа героя.
Дизайн персонажа держится на трех китах: форма, силуэт, цвет. Вокруг этих понятий вращается всё, что связано с визуальной разработкой героев. Почему это так важно?
Миллионы лет назад, до появления зубных врачей и счетов за коммунальные услуги, наши предки больше всего боялись природы. И вопрос “быть или не быть” решался скоростью реакции. Пара секунд, чтобы отделить крадущегося тигра от мирно бредущего по своим делам муравьеда, оценить устойчивость камня, отличить дружелюбного соплеменника от разозленного соседа с острой палкой — вот какие задачи нам приходилось решать.
Поэтому наш мозг выработал своеобразные схемы, в рамках которых определенные формы и их сочетания вызывают у нас моментальные реакции. Хотя сегодня нам не грозит встреча с диким зверем, стремление как можно быстрее идентифицировать объект как угрожающий или безопасный — у нас в подкорке.
Пока философы гадают: определяет ли бытие сознание или сознание определяет бытие, художники по персонажам давно знают, что сознание определяет лежащую в основе героя форму. Скажем, что общего у Малефисенты и Джафара?
Гордая осанка, отвратительный характер, магическое могущество и треугольники.
Естественно, при создании персонажа мы не можем целиком полагаться только на одну фигуру, ведь характеры наших персонажей редко укладываются в одно слово. Например, «злой тупой великан» и «злой коварный волшебник», безусловно, будут иметь сходные черты, но показать различия между ними помогут сочетания и вариации трёх основных форм.
Вот пара известных персонажей с не совсем неоднозначными характерами.
Кроме того, для коммерческой анимации яркий и уникальный силуэт — жизненная необходимость. Он понадобится для продвижения бренда и производства различного мерча.
Во имя чистоты силуэта создатели иногда закрывают глаза на законы логики и биологии. Например, уши Микки Мауса всегда выглядят, как два идеальных круга независимо от того, как он поворачивает голову.
Как понять, что ваша предсказательная модель бесполезна
При создании продуктов на основе машинного обучения возникают ситуации, которых хотелось бы избежать. В этом тексте я разбираю восемь проблем, с которыми сталкивался в своей работе.
Мой опыт связан с моделями кредитного скоринга и предсказательными системами для промышленных компаний. Текст поможет разработчиками и дата-сайнтистам строить полезные модели, а менеджерам не допускать грубых ошибок в проекте.
Этот текст не призван прорекламировать какую-нибудь компанию. Он основан на практике анализа данных в компании ООО «Ромашка», которая никогда не существовала и не будет существовать. Под «мы» я подразумеваю команду из себя и моих воображаемых друзей. Все сервисы, которые мы создавали, делались для конкретного клиента и не могут быть проданы или переданы иным лицам.
Какие модели и для чего?
Пусть предсказательная модель — это алгоритм, который строит прогнозы и позволяет автоматически принимать полезное для бизнеса решение на основе исторических данных.
Я буду говорить об алгоритмах обучения с учителем, т.е. таких, которые «увидели» много примеров пар (X,Y), и теперь могут для любого X сделать оценку Y. X — это информация, известная на момент прогноза (например, заполненная клиентом заявка на кредит). Y — это заранее неизвестная информация, необходимая для принятия решения (например, будет ли клиент своевременно платить по кредиту). Само решение может приниматься каким-то простым алгоритмом вне модели (например, одобрять кредит, если предсказанная вероятность неплатежа не выше 15%).
Аналитик, создающий модель, как правило, опирается на метрики качества прогноза, например, среднюю ошибку (MAE) или долю верных ответов (accuracy). Такие метрики позволяют быстро понять, какая из двух моделей предсказывает точнее (и нужно ли, скажем, заменять логистическую регрессию на нейросеть). Но на главный вопрос, а насколько модель полезна, они дают ответ далеко не всегда. Например, модель для кредитного скоринга очень легко может достигнуть точности 98% на данных, в которых 98% клиентов «хорошие», называя «хорошими» всех подряд.
С точки зрения предпринимателя или менеджера очевидно, какая модель полезная: которая приносит деньги. Если за счёт внедрения новой скоринговой модели за следующий год удастся отказать 3000 клиентам, которые бы принесли суммарный убыток 50 миллионов рублей, и одобрить 5000 новых клиентов, которые принесут суммарную прибыль 10 миллионов рублей, то модель явно хороша. На этапе разработки модели, конечно, вряд ли вы точно знаете эти суммы (да и потом — далеко не факт). Но чем скорее, точнее и честнее вы оцените экономическую пользу от проекта, тем лучше.
Проблемы
Достаточно часто построение вроде бы хорошей предсказательной модели не приводит к ожидаемому успеху: она не внедряется, или внедряется с большой задержкой, или начинает нормально работать только после десятков релизов, или перестаёт нормально работать через несколько месяцев после внедрения, или не работает вообще никак… При этом вроде бы все потрудились на славу: аналитик выжал из данных максимальную предсказательную силу, разработчик создал среду, в которой модель работает молниеносно и никогда не падает, а менеджер приложил все усилия, чтобы первые двое смогли завершить работу вовремя. Так почему же они попали в неприятность?
1. Модель вообще не нужна
Мы как-то строили модель, предсказывающую крепость пива после дображивания (на самом деле, это было не пиво и вообще не алкоголь, но суть похожа). Задача ставилась так: понять, как параметры, задаваемые в начале брожения, влияют на крепость финального пива, и научиться лучше управлять ей. Задача казалась весёлой и перспективной, и мы потратили не одну сотню человеко-часов на неё, прежде чем выяснили, что на самом-то деле финальная крепость не так уж и важна заказчику. Например, когда пиво получается 7.6% вместо требуемых 8%, он просто смешивает его с более крепким, чтобы добиться нужного градуса. То есть, даже если бы мы построили идеальную модель, это принесло бы прибыли примерно нисколько.
Эта ситуация звучит довольно глупо, но на самом деле случается сплошь и рядом. Руководители инициируют machine learning проекты, «потому что интересно», или просто чтобы быть в тренде. Осознание, что это не очень-то и нужно, может прийти далеко не сразу, а потом долго отвергаться. Мало кому приятно признаваться, что время было потрачено впустую. К счастью, есть относительно простой способ избегать таких провалов: перед началом любого проекта оценивать эффект от идеальной предсказательной модели. Если бы вам предложили оракула, который в точности знает будущее наперёд, сколько бы были бы готовы за него заплатить? Если потери от брака и так составляют небольшую сумму, то, возможно, строить сложную систему для минимизации доли брака нет необходимости.
Как-то раз команде по кредитному скорингу предложили новый источник данных: чеки крупной сети продуктовых магазинов. Это выглядело очень заманчиво: «скажи мне, что ты покупаешь, и я скажу, кто ты». Но вскоре оказалось, что идентифицировать личность покупателя было возможно, только если он использовал карту лояльности. Доля таких покупателей оказалась невелика, а в пересечении с клиентами банка они составляли меньше 5% от входящих заявок на кредиты. Более того, это были лучшие 5%: почти все заявки одобрялись, и доля «дефолтных» среди них была близка к нулю. Даже если бы мы смогли отказывать все «плохие» заявки среди них, это сократило бы кредитные потери на совсем небольшую сумму. Она бы вряд ли окупила затраты на построение модели, её внедрение, и интеграцию с базой данных магазинов в реальном времени. Поэтому с чеками поигрались недельку, и передали их в отдел вторичных продаж: там от таких данных будет больше пользы.
Зато пивную модель мы всё-таки достроили и внедрили. Оказалось, что она не даёт экономии на сокращении брака, но зато позволяет снизить трудозатраты за счёт автоматизации части процесса. Но поняли мы это только после долгих дискуссий с заказчиком. И, если честно, нам просто повезло.
2. Модель откровенно слабая
Даже если идеальная модель способна принести большую пользу, не факт, что вам удастся к ней приблизиться. В X может просто не быть информации, релевантной для предсказания Y. Конечно, вы редко можете быть до конца уверены, что вытащили из X все полезные признаки. Наибольшее улучшение прогноза обычно приносит feature engineering, который может длиться месяцами. Но можно работать итеративно: брейншторм — создание признаков — обучение прототипа модели — тестирование прототипа.
В самом начале проекта можно собраться большой компанией и провести мозговой штурм, придумывая разнообразные признаки. По моему опыту, самый сильный признак часто давал половину той точности, которая в итоге получалась у полной модели. Для скоринга это оказалась текущая кредитная нагрузка клиента, для пива — крепость предыдущей партии того же сорта. Если после пары циклов найти хорошие признаки не удалось, и качество модели близко к нулю, возможно, проект лучше свернуть, либо срочно отправиться искать дополнительные данные.
Важно, что тестировать нужно не только точность прогноза, но и качество решений, принимаемых на его основе. Не всегда возможно измерить пользу от модели «оффлайн» (в тестовой среде). Но вы можете придумывать метрики, которые хоть как-то приближают вас к оценке денежного эффекта. Например, если менеджеру по кредитным рискам нужно одобрение не менее 50% заявок (иначе сорвётся план продаж), то вы можете оценивать долю «плохих» клиентов среди 50% лучших с точки зрения модели. Она будет примерно пропорциональна тем убыткам, которые несёт банк из-за невозврата кредитов. Такую метрику можно посчитать сразу же после создания первого прототипа модели. Если грубая оценка выгоды от его внедрения не покрывает даже ваши собственные трудозатраты, то стоит задуматься: а можем ли мы вообще получить хороший прогноз?
3. Модель невозможно внедрить
Бывает, что созданная аналитиками модель демонстрирует хорошие меры как точности прогноза, так и экономического эффекта. Но когда начинается её внедрение в продакшн, оказывается, что необходимые для прогноза данные недоступны в реальном времени. Иногда бывает, что это настоящие данные «из будущего». Например, при прогнозе крепости пива важным фактором является измерение его плотности после первого этапа брожения, но применять прогноз мы хотим в начале этого этапа. Если бы мы не обсудили с заказчиком точную природу этого признака, мы бы построили бесполезную модель.
Ещё более неприятно может быть, если на момент прогноза данные доступны, но по техническим причинам подгрузить их в модель не получается. В прошлом году мы работали над моделью, рекомендующей оптимальный канал взаимодействия с клиентом, вовремя не внёсшим очередной платёж по кредиту. Должнику может звонить живой оператор (но это не очень дёшево) или робот (дёшево, но не так эффективно, и бесит клиентов), или можно не звонить вообще и надеяться, что клиент и так заплатит сегодня-завтра. Одним из сильных факторов оказались результаты звонков за вчерашний день. Но оказалось, что их использовать нельзя: логи звонков перекладываются в базу данных раз в сутки, ночью, а план звонков на завтра формируется сегодня, когда известны данные за вчера. То есть данные о звонках доступны с лагом в два дня до применения прогноза.
На моей практике несколько раз случалось, что модели с хорошей точностью откладывались в долгий ящик или сразу выкидывались из-за недоступности данных в реальном времени. Иногда приходилось переделывать их с нуля, пытаясь заменить признаки «из будущего» какими-то другими. Чтобы такого не происходило, первый же небесполезный прототип модели стоит тестировать на потоке данных, максимально приближенном к реальному. Может показаться, что это приведёт к дополнительным затратам на разработку тестовой среды. Но, скорее всего, перед запуском модели «в бою» её придётся создавать в любом случае. Начинайте строить инфраструктуру для тестирования модели как можно раньше, и, возможно, вы вовремя узнаете много интересных деталей.
4. Модель очень трудно внедрить
Если модель основана на данных «из будущего», с этим вряд ли что-то можно поделать. Но часто бывает так, что даже с доступными данными внедрение модели даётся нелегко. Настолько нелегко, что внедрение затягивается на неопределённый срок из-за нехватки трудовых ресурсов на это. Что же так долго делают разработчики, если модель уже создана?
Скорее всего, они переписывают весь код с нуля. Причины на это могут быть совершенно разные. Возможно, вся их система написана на java, и они не готовы пользоваться моделью на python, ибо интеграция двух разных сред доставит им даже больше головной боли, чем переписывание кода. Или требования к производительности так высоки, что весь код для продакшна может быть написан только на C++, иначе модель будет работать слишком медленно. Или предобработку признаков для обучения модели вы сделали с использованием SQL, выгружая их из базы данных, но в бою никакой базы данных нет, а данные будут приходить в виде json-запроса.
Если модель создавалась в одном языке (скорее всего, в python), а применяться будет в другом, возникает болезненная проблема её переноса. Есть готовые решения, например, формат PMML, но их применимость оставляет желать лучшего. Если это линейная модель, достаточно сохранить в текстовом файле вектор коэффициентов. В случае нейросети или решающих деревьев коэффициентов потребуется больше, и в их записи и чтении будет проще ошибиться. Ещё сложнее сериализовать полностью непараметрические модели, в частности, сложные байесовские. Но даже это может быть просто по сравнению с созданием признаков, код для которого может быть совсем уж произвольным. Даже безобидная функция log() в разных языках программирования может означать разные вещи, что уж говорить о коде для работы с картинками или текстами!
Даже если с языком программирования всё в порядке, вопросы производительности и различия в формате данных в учении и в бою остаются. Ещё один возможный источник проблем: аналитик при создании модели активно пользовался инструментарием для работы с большими таблицами данных, но в бою прогноз необходимо делать для каждого наблюдения по отдельности. Многие действия, совершаемые с матрицей n*m, с матрицей 1*m проделывать неэффективно или вообще бессмысленно. Поэтому аналитику полезно с самого начала проекта готовиться принимать данные в нужном формате и уметь работать с наблюдениями поштучно. Мораль та же, что и в предыдущем разделе: начинайте тестировать весь пайплайн как можно раньше!
Разработчикам и админам продуктивной системы полезно с начала проекта задуматься о том, в какой среде будет работать модель. В их силах сделать так, чтобы код data scientist’a мог выполняться в ней с минимумом изменений. Если вы внедряете предсказательные модели регулярно, стоит один раз создать (или поискать у внешних провайдеров) платформу, обеспечивающую управление нагрузкой, отказоустойчивость, и передачу данных. На ней любую новую модель можно запустить в виде сервиса. Если же сделать так невозможно или нерентабельно, полезно будет заранее обсудить с разработчиком модели имеющиеся ограничения. Быть может, вы избавите его и себя от долгих часов ненужной работы.
5. При внедрении происходят глупые ошибки
За пару недель до моего прихода в банк там запустили в бой модель кредитного риска от стороннего поставщика. На ретроспективной выборке, которую прислал поставщик, модель показала себя хорошо, выделив очень плохих клиентов среди одобренных. Поэтому, когда прогнозы начали поступать к нам в реальном времени, мы немедленно стали применять их. Через несколько дней кто-то заметил, что отказываем мы больше заявок, чем ожидалось. Потом — что распределение приходящих прогнозов непохоже на то, что было в тестовой выборке. Начали разбираться, и поняли, что прогнозы приходят с противоположным знаком. Мы получали не вероятность того, что заёмщик плохой, а вероятность того, что он хороший. Несколько дней мы отказывали в кредите не худшим, а лучшим клиентам!
Такие нарушения бизнес-логики чаще всего происходят не в самой модели, а или при подготовке признаков, или, чаще всего, при применении прогноза. Если они менее очевидны, чем ошибка в знаке, то их можно не находить очень долго. Всё это время модель будет работать хуже, чем ожидалось, без видимых причин. Стандартный способ предупредить это — делать юнит-тесты для любого кусочка стратегии принятия решений. Кроме этого, нужно тестировать всю систему принятия решений (модель + её окружение) целиком (да-да, я повторяю это уже три раздела подряд). Но это не спасёт от всех бед: проблема может быть не в коде, а в данных. Чтобы смягчить такие риски, серьёзные нововведения можно запускать не на всём потоке данных (в нашем случае, заявок на кредиты), а на небольшой, но репрезентативной его доле (например, на случайно выбранных 10% заявок). A/B тесты— это вообще полезно. А если ваши модели отвечают за действительно важные решения, такие тесты могут идти в большом количестве и подолгу.
6. Модель нестабильная
Бывает, что модель прошла все тесты, и была внедрена без единой ошибки. Вы смотрите на первые решения, которые она приняла, и они кажутся вам осмысленными. Они не идеальны — 17 партия пива получилась слабоватой, а 14 и 23 — очень крепкими, но в целом всё неплохо. Проходит неделя-другая, вы продолжаете смотреть на результаты A/B теста, и понимаете, что слишком крепких партий чересчур много. Обсуждаете это с заказчиком, и он объясняет, что недавно заменил резервуары для кипячения сусла, и это могло повысить уровень растворения хмеля. Ваш внутренний математик возмущается «Да как же так! Вы мне дали обучающую выборку, не репрезентативную генеральной совокупности! Это обман!». Но вы берёте себя в руки, и замечаете, что в обучающей выборке (последние три года) средняя концентрация растворенного хмеля не была стабильной. Да, сейчас она выше, чем когда-либо, но резкие скачки и падения были и раньше. Но вашу модель они ничему не научили.
Другой пример: доверие сообщества финансистов к статистическим методам было сильно подорвано после кризиса 2007 года. Тогда обвалился американский ипотечный рынок, потянув за собой всю мировую экономику. Модели, которые тогда использовались для оценки кредитных рисков, не предполагали, что все заёмщики могут одновременно перестать платить, потому что в их обучающей выборке не было таких событий. Но разбирающийся в предмете человек мог бы мысленно продолжить имеющиеся тренды и предугадать такой исход.
Бывает, что поток данных, к которым вы применяете модель, стационарен, т.е. не меняет своих статистических свойств со временем. Тогда самые популярные методы машинного обучения, нейросетки и градиентный бустинг над решающими деревьями, работают хорошо. Оба этих метода основаны на интерполяции обучающих данных: нейронки — логистическими кривыми, бустинг — кусочно-постоянными функциями. И те, и другие очень плохо справляются с задачей экстраполяции — предсказания для X, лежащих за пределами обучающей выборки (точнее, её выпуклой оболочки).
Некоторые более простые модели (в том числе линейные) экстраполируют лучше. Но как понять, что они вам нужны? На помощь приходит кросс-валидация (перекрёстная проверка), но не классическая, в которой все данные перемешаны случайным образом, а что-нибудь типа TimeSeriesSplit из sklearn. В ней модель обучается на всех данных до момента t, а тестируется на данных после этого момента, и так для нескольких разных t. Хорошее качество на таких тестах даёт надежду, что модель может прогнозировать будущее, даже если оно несколько отличается от прошлого.
Иногда внедрения в модель сильных зависимостей, типа линейных, оказывается достаточно, чтобы она хорошо адаптировалась к изменениям в процессе. Если это нежелательно или этого недостаточно, можно подумать о более универсальных способах придания адаптивности. Проще всего калибровать модель на константу: вычитать из прогноза его среднюю ошибку за предыдущие n наблюдений. Если же дело не только в аддитивной константе, при обучении модели можно перевзвесить наблюдения (например, по принципу экспоненциального сглаживания). Это поможет модели сосредоточить внимание на самом недавнем прошлом.
Даже если вам кажется, что модель просто обязана быть стабильной, полезно будет завести автоматический мониторинг. Он мог бы описывать динамику предсказываемого значения, самого прогноза, основных факторов модели, и всевозможных метрик качества. Если модель действительно хороша, то она с вами надолго. Поэтому лучше один раз потрудиться над шаблоном, чем каждый месяц проверять перформанс модели вручную.
7. Обучающая выборка действительно не репрезентативна
Бывает, что источником нерепрезентативности выборки являются не изменения во времени, а особенности процесса, породившего данные. У банка, где я работал, раньше существовала политика: нельзя выдавать кредиты людям, у которых платежи по текущим долгам превышают 40% дохода. С одной стороны, это разумно, ибо высокая кредитная нагрузка часто приводит к банкротству, особенно в кризисные времена. С другой стороны, и доход, и платежи по кредитам мы можем оценивать лишь приближённо. Возможно, у части наших несложившихся клиентов дела на самом деле были куда лучше. Да и в любом случае, специалист, который зарабатывает 200 тысяч в месяц, и 100 из них отдаёт в счёт ипотеки, может быть перспективным клиентом. Отказать такому в кредитной карте — потеря прибыли. Можно было бы надеяться, что модель будет хорошо ранжировать клиентов даже с очень высокой кредитной нагрузкой… Но это не точно, ведь в обучающей выборке нет ни одного такого!
Мне повезло, что за три года до моего прихода коллеги ввели простое, хотя и страшноватое правило: примерно 1% случайно отобранных заявок на кредитки одобрять в обход почти всех политик. Этот 1% приносил банку убытки, но позволял получать репрезентативные данные, на которых можно обучать и тестировать любые модели. Поэтому я смог доказать, что даже среди вроде бы очень закредитованных людей можно найти хороших клиентов. В результате мы начали выдавать кредитки людям с оценкой кредитной нагрузки от 40% до 90%, но с более жёстким порогом отсечения по предсказанной вероятности дефолта.
Если бы подобного потока чистых данных не было, то убедить менеджмент, что модель нормально ранжирует людей с нагрузкой больше 40%, было бы сложно. Наверное, я бы обучил её на выборке с нагрузкой 0-20%, и показал бы, что на тестовых данных с нагрузкой 20-40% модель способна принять адекватные решения. Но узенькая струйка нефильтрованных данных всё-таки очень полезна, и, если цена ошибки не очень высока, лучше её иметь. Подобный совет даёт и Мартин Цинкевич, ML-разработчик из Гугла, в своём руководстве по машинному обучению. Например, при фильтрации электронной почты 0.1% писем, отмеченных алгоритмом как спам, можно всё-таки показывать пользователю. Это позволит отследить и исправить ошибки алгоритма.
8. Прогноз используется неэффективно
Как правило, решение, принимаемое на основе прогноза модели, является лишь небольшой частью какого-то бизнес-процесса, и может взаимодействовать с ним причудливым образом. Например, большая часть заявок на кредитки, одобренных автоматическим алгоритмом, должна также получить одобрение живого андеррайтера, прежде чем карта будет выдана. Когда мы начали одобрять заявки с высокой кредитной нагрузкой, андеррайтеры продолжили их отказывать. Возможно, они не сразу узнали об изменениях, или просто решили не брать на себя ответственность за непривычных клиентов. Нам пришлось передавать кредитным специалистам метки типа «не отказывать данному клиенту по причине высокой нагрузки», чтобы они начали одобрять такие заявки. Но пока мы выявили эту проблему, придумали решение и внедрили его, прошло много времени, в течение которого банк недополучал прибыль. Мораль: с другими участниками бизнес-процесса нужно договариваться заранее.
Иногда, чтобы зарезать пользу от внедрения или обновления модели, другое подразделение не нужно. Достаточно плохо договориться о границах допустимого с собственным менеджером. Возможно, он готов начать одобрять клиентов, выбранных моделью, но только если у них не более одного активного кредита, никогда не было просрочек, несколько успешно закрытых кредитов, и есть двойное подтверждение дохода. Если почти весь описанный сегмент мы и так уже одобряем, то модель мало что изменит.
Впрочем, при грамотном использовании модели человеческий фактор может быть полезен. Допустим, мы разработали модель, подсказывающую сотруднику магазина одежды, что ещё можно предложить клиенту, на основе уже имеющегося заказа. Такая модель может очень эффективно пользоваться большими данными (особенно если магазинов — целая сеть). Но частью релевантной информации, например, о внешнем виде клиентов, модель не обладает. Поэтому точность угадывания ровно-того-наряда-что-хочет-клиент остаётся невысокой. Однако можно очень просто объединить искусственный интеллект с человеческим: модель подсказывает продавцу три предмета, а он выбирает из них самое подходящее. Если правильно объяснить задачу всем продавцам, можно прийти к успеху.
Заключение
Я прошёлся по некоторым из основных провалов, с которыми сталкивался при создании и встраивании в бизнес предсказательных моделей. Чаще всего это проблемы не математического, а организационного характера: модель вообще не нужна, или построена по кривой выборке, или есть сложности со встраиванием её в имеющиеся процессы и системы. Снизить риск таких провалов можно, если придерживаться простых принципов:
Надеюсь, кому-то этот текст поможет получше присмотреться к своему проекту и избежать глупых ошибок.