Содержание
Или предположим, что вы работаете над новой большой фичей и хотите избежать монстр-коммитов. Или просто хочется сделать поведение сайта легко конфигурируемым. Как можно решить все эти проблемы, читайте под катом.
Когда вы регистрируетесь на Kaggle, вы получаете не только доступ ко всем ресурсам, но и возможность стать частью сообщества экспертов по аналитическим данным. Это золотая жила для дата-сайентистов и инженеров машинного обучения. Не так много платформ, на которых вы можете найти высококачественные, эффективные, воспроизводимые, отобранные экспертами, потрясающие примеры коды в одном месте. Даю свое согласие на обработку персональных данных.
Рейтинг ресторанов, рейтинг поваров, рейтинг продуктов — в любом из направлений фудтех-приложений важно предоставить возможность ставить звездочки. Можно начать работу над проектом, не тратя время на копирование шаблонного кода или написание с чистого листа. Для того, чтобы рисерчеры могли тестировать свои торговые идеи, им нужны исторические данные торгов. Поэтому мы аккуратно сохраняем данные и по-умному готовим их для отдела исследований. Так как данных приходит очень много и все они в разных форматах, у нас есть внутренний пайплайн, который приводит данные к единому стандарту компании.
Последние статьи
Представьте, что человек сделал заказ, но отложил телефон и забыл точное время прибытия курьера. Если закидать клиента пушами, он может почувствовать себя некомфортно. В крайнем случае он просто снесет приложение, потому оно ему надоело. В приложении, напрямую связанном с едой, работа над визуалом будет серьезная и кропотливая. В первую очередь, клиент «влюбляется» в красивую картинку блюда или повара, а уже после смотрит на состав, калорийность и оценку других пользователей. Обратите внимание, на что ориентировано приложение.
После тщательного изучения данных и обеспечения приемлемости для машинного обучения, мы переходим к созданию базовых моделей. Однако, прежде чем мы полностью перейдём к этапу моделирования, важно понять показатель производительности для соревнований. В соревновании Kaggle всё сводится к одному числу — метрике по тестовым данным. Чтобы запустить весь notebook и записать новую версию, нужно нажать голубую кнопку Commit & Run в правом верхнем углу ядра.
Соревнование примечательно большим количеством неожиданных открытий и оживлённых дискуссий среди участников. Поэтому я решил детально описать особенности именно этого соревнования и поделиться рецептом победы. Если у вас есть какие-либо вопросы или комментарии, не стесняйтесь оставлять свои отзывы ниже, или вы всегда можете связаться со мной по щебет, До тех пор, до встречи в следующем посте!
Устройства начнут получать новую версию уже 24 августа. Для корректной работы сайта необходим включённый JavaScript! Пожалуйста, активируйте его для дальнейшего пользования ресурсом. С мобильного устройств напишите в поисковике название животного, к примеру “Медведь” и в результате поиска у вас будет возможность посмотреть 3D модель в полный размер прямо у себя дома, с помощью камеры. Как не трудно догадаться, запрос «weather Львов» покажет вам погоду во Львове. Если вы хотите добавить определенное слово в результат выдачи, то добавьте перед ним “+”.
ТОП-15 книг по JavaScript: от новичка до профессионала
При этом важны не только исходные характеристики, которые были заложены при разработке, но и обратная связь от пользователей. Как уже было сказано выше, несколько моделей было построено на рекуррентных сетях, но они использовались, в основном, на втором уровне обучения. Для построения моделей на деревьях решений использовались, в основном, бустеры LightGBM и совсем немного XGBoost. Качество прогноза у них было очень похоже, но LightGBM мог использовать GPU и работал раза в три быстрее. Ближе к финалу конкурса количество признаков было около 800, и модель обучалась примерно 6-7 часов.
Крылатая фраза “это не баг, а фича” часто используется разработчиками для оправдания совершенных ошибок. Фича в IT это может быть необычное программное решение, возможности, особая функциональность, уникальные характеристики, которые привлекают внимание. Для того, чтобы на этом можно было заработать, располагать ордера надо по-умному, а для этого нужно понимать, что произойдет с рынком в следующий момент времени. Вы будете улучшать качество предсказания биржевого стакана, грубо говоря, куда пойдет цена в ближайшие миллисекунды — придумывать фичи и обучать модели. Классическая машинка, выдумывать торговые стратегии не придется. Пуш-уведомления не дают юзеру забыть о вашем приложении.
- В примере выше configurationManager — это класс, позволяющий извлечь значение определенного feature switcher-а из базы данных по его ключу.
- Несмотря на высокую востребованность, совсем немногие разработчики знают его скрытые фичи языка JavaScript.
- Она больше других подходит для применения в реальной жизни и определенно заслуживает внимания.
- Обратная связь от пользователей поможет понять, насколько хороша идея.
- После тщательного изучения данных и обеспечения приемлемости для машинного обучения, мы переходим к созданию базовых моделей.
Таким образом, важные с точки зрения смысла слова получают больший вес в дальнейших вычислениях вероятности схожести, и сеть работает значительно лучше. Во время соревнования эти фичи окрестили «магическими», так как они были очень мощными, и для многих было неожиданно, что можно извлечь информацию не только из текста. Организаторам соревнования платформа Kaggle для новичка также не было понятно, будут ли подобные фичи полезны в реальной жизни. К тому же, некоторые NLP модели (например TF-IDF) неявно используют частоту вопроса, а значит они могут давать прирост качества только потому, что эксплуатируют особенность датасета. Эта интересная особенность связана с id вопросов в обучающей выборке.
Это не программистское описание, а именно пользовательское, которое чем-то должно быть похоже на инструкцию. Первый этап работы над фичей — это всегда ответ на вопрос «Почему мы вообще решили это сделать? Как это закрывает бизнес-потребность клиента и какова бизнес-цель? Мы детально прорабатываем каждую фичу, и нередко работа над постановкой задачи по ней может занять время, сопоставимое с реализацией. За каждым типом работ закреплен ответственный специалист, у которого есть своя производительность и своя колонка в бэклоге.
Курсы Kaggle Learn
В то же время ресурсы не бесконечны, выбор приоритетов критически важен. Мы хотим, чтобы каждый час разработки был максимально эффективен, и ключ к этому видим в качественной работе с бэклогом. Найти поля ввода по id и указать им значения в пресетах.
В зависимости от приложения, он попросту может не найти какие-либо кастомные элементы. Впрочем, я думаю, его будут со временем допиливать, попробовать в любом случае стоит — найдёт, так найдёт. Сегодня фичей называют любую характеристику продукта, которая имеет специфические особенности. Это могут быть механизмы, которые добавляют новую функциональность, элементы, превращающие продукт в уникальный. Это слово наиболее распространено в игровой индустрии, в сфере программного обеспечения, создания сайтов.
Литература[править | править код]
Такой модели с лихвой хватит, чтобы получить серебряную медаль. Во время соревнования у нас была возможность протестировать новую библиотеку градиентного бустинга LightGBM. Оказалось, что по точности она не хуже (а даже немного лучше), чем старый https://deveducation.com/ добрый XGBoost, и при этом в несколько раз быстрее его. Так что все наши финальные модели (как и модели многих других участников) использовали LightGBM. Недавно мы показали хороший результат в Quora Question Pairs Challenge на Kaggle.
VISUALHACK #4: удаленное выполнение произвольного кода в Apache Struts
Именно такой подход дает уверенность в том, что мы делаем то, что надо. Наглядным примером такого подхода может служить недавняя реализация фичи «Конструктор кастомных полей» в рамках CRM-системы AdSaver. По сторис рисуется первый прототип, его анализируют. После прохождения бизнес-аналитики, всех правок и апрувов дизайнер готовит уже более-менее чистовой вариант, где показывает экраны, кнопки и все, что необходимо. Из-за разной трудоемкости фич, их меняющейся важности и внезапных пожеланий клиентов, на которые нужно быстро реагировать, мы поняли, что Аgile и спринты нам не подходят.
Picnic CSS
Основные наши клиенты — это отделы продаж жилых комплексов. И около 30% менеджеров постоянно изъявляют желание принимать участие в процессах улучшения продукта для того, чтоб им же было в нем комфортнее работать в будущем. На основании таких запросов система AdSaver максимально оптимизировалась, а количество жалоб снизилось втрое. То есть она пишется с учетом реального функционала для расширения дальнейшего.
Приходите работатьв Отдел Разработки
А в случае каких-то вопросов, коллективный разум сообщества всегда придет на помощь, подскажет и даже покажет. Решая здесь задачи, и новичок, и профессионал уровня «grandmaster» могут, как говорится, “оторваться по полной программе”. Также мы добавили out of fold предсказания нейронных сетей как фичи для бустинга. Осталось только не забыть сбалансировать классы, подобрать параметры модели и аккуратно провалидировать результаты.
Comments (0)