Машинное обучение · Модели, которые можно запускать и проверять

Модель - компонент, а не стратегия. Работа - данные вокруг нее, оценка под ней и честный ответ о границах возможностей.

Оценка от 3 дней · инженерная работа 110 EUR в час · инференс на вашем оборудовании от 39 EUR в месяц · без добавления НДС

00

Как выглядит хороший ответ?

Первый вопрос определяет большинство проектов: как выглядит хороший ответ и как понять, что вы его получили?

Большинство приходит как технология, ищущая работу: кто-то увидел возможности модели и захотел такую. Полезная первая беседа идет наоборот.

Какое решение или работу она должна изменить? Как конкретно выглядит хороший ответ, чтобы двое согласились с оценкой? И что будет при ошибке: ошибки неизбежны и должны быть переносимыми.

Рекомендация решить задачу другим способом здесь считается нормальным результатом, а не несостоявшейся продажей. Обычно причина одна из двух: данных для обучения ещё нет либо правило решит задачу дешевле и при этом его можно будет объяснить.

Что выясняем сначала

  • Задача как результат, а не технология
  • Признаки хорошего ответа и кто оценивает
  • Последствия неверного ответа и способ заметить
  • Есть ли обучающие данные и законно ли их использование
  • Можно ли заменить правилом, поиском по таблице или улучшенной формой
  • Ценность при успехе, определяющая бюджет попытки

Что возвращаем

  • Письменная задача и критерии приемки
  • Честная оценка достаточности данных
  • Первое испытание простейшего подхода, который может сработать
  • Цена исследования отдельно от создания
  • Совет не продолжать, если это верно

Не входит: модель, выбранная до формулировки задачи. Такой порядок приводит к владению демонстрацией.

01

Данные - большая часть работы.

Модель - простая часть. Чистые, отслеживаемые, законные данные для нее - нет.

Часы, выглядящие работой над моделью, в основном уходят на данные: поиск, очистку, разметку и способность позже назвать происхождение каждой части.

Происхождение - не бумажная формальность. Объяснение ответа начинается с обучающих данных; без этого модель нельзя обосновать.

Получение данных

  • Конвейеры из ваших систем с версиями как у другого кода
  • Очистка и удаление дублей по письменным правилам
  • Разметка: кто, по каким указаниям, как решать разногласия
  • Отложенный набор до просмотра данных
  • Происхождение каждой записи для будущих вопросов

Соблюдение закона

  • Правовое основание до первого запуска конвейера
  • Минимизация персональных данных, псевдонимизация, где допускает задача
  • Срок хранения по обязанности, а не удобству
  • Технически возможное право на удаление, а не обещание
  • Учет обработки, включающий обучение и инференс

Не входит: сбор данных без права использования. Неустановленное происхождение делает модель необоснованной.

02

Эксплуатация на виду у вас.

Инференс на вашем оборудовании: для пользы ничего не нужно отправлять наружу.

Моделей с открытыми весами достаточно для большинства реальных задач организации; при своем запуске ввод не выходит наружу.

Это важнее всего для ценных данных: документов, переписки, записей, которые нельзя отправлять. Модель через чужой API неприменима к вашим важным данным.

Внедрение

  • Выбор модели по задаче, а не рейтингу
  • Квантизация и пакетная обработка по вашему оборудованию
  • Предоставление GPU или честный ответ, что достаточно CPU
  • Служба инференса с лимитами, очередями и проверкой состояния
  • Версии весов для воспроизведения ответа спустя месяцы
  • Заранее определенное поведение при недоступности модели

Эксплуатация

  • Задержка и стоимость измерены для каждого запроса, а не оценены
  • Планирование емкости по реальному трафику
  • Репетиции обновлений: новая модель меняет поведение
  • Запись, какая версия ответила на какой запрос
  • Мониторинг важного отказа: уверенно неверного ответа

Не входит: обещание, что локальный инференс всегда дешевле. Выше определенного объема - да, ниже - API; мы честно посчитаем.

03

Ответы на основе ваших документов.

Ответы по вашим документам с источником у каждого.

Обычно полезнее не модель, знающая вещи, а умеющая найти верный абзац в имеющемся и сказать, откуда он.

Это поиск; сложная работа в поиске, не генерации: что индексировать, как делить, поддерживать актуальность, действительно ли цитата подтверждает предложение.

Создание

  • Индексирование ваших хранилищ с сохранением разрешений
  • Деление по документу, а не фиксированному числу символов
  • Векторные представления, пересоздаваемые вашей моделью
  • Актуальность: как быстро правка документа меняет ответ
  • Источники при каждом утверждении с проверкой в оценке

Сохранение достоверности

  • Видимое "не знаю", используемое, а не декоративное
  • Отказ в ответе без подтверждающих найденных данных
  • Разрешения при поиске, чтобы никто не прочел запрещенное
  • Оценка по вопросам с известными ответами при каждом изменении
  • Способ человеку исправить ответ с изменением индекса

Не входит: безошибочная система. Поиск уменьшает выдумки, не устраняет; источник делает ошибку проверяемой, а не невозможной.

04

Показатель, который можно обосновать.

Показатель, получаемый одинаково каждый раз, иначе это демонстрация.

Без оценки нет разницы между работающей системой и однажды впечатлившей. Тестовый набор создается до системы из реальных случаев с ответами, согласованными знатоками предмета.

Одинаковый запуск при каждом изменении; результат сохраняется и при снижении.

Как измеряем

  • Отложенный набор реальных случаев, согласованный до создания
  • Метрики по задаче, а не эффектности
  • Один набор проверок при каждом изменении для сравнения цифр
  • Выборочная проверка человеком: метрики замечают не все
  • Контроль сдвига после запуска: мир меняется, модель нет

Что сообщаем

  • Результат, включая падения
  • Характер неудач без усреднения
  • Случаи обязательного отказа и был ли он
  • Цена и задержка рядом с качеством: продукт включает все три
  • Совет остановиться, если цифры не оправдывают продолжение

Не входит: рейтинг теста как доказательство пользы вам. Публичный тест измеряет публичную задачу.

05

Что разрешено решать.

Что решает система, что передает человеку и записи, показывающие случившееся.

Предлагающая и решающая системы - разные продукты с разными обязанностями. Граница - проектное решение, не случайно возникшее свойство.

Поэтому граница явная: что решать одной, что передать, что отвергнуть. Для каждого запроса запись показывает одно из трех.

Контроль

  • Письменное описание решаемого и лишь предлагаемого
  • Путь эскалации с человеком на другом конце
  • Список вопросов, на которые нельзя отвечать
  • Ограничения частоты и защита от злоупотреблений: модель - открытая дверь
  • Журнал запросов и ответов со сроком хранения по обязанностям

Записи

  • Версия ответа, подтверждение и время
  • Учет обработки, включающий обучение и инференс
  • Оценка воздействия, если требует применение
  • Сохраненная история оценки, а не краткий пересказ
  • Документация для наследующего, а не создавшего

Не входит: юридический совет по AI Act или иному режиму. Создаем записи и контроль; их читает ваш юрист.

Начало

Начните с задачи.

  • Расскажите о задаче, приемлемом хорошем ответе и имеющихся данных. Не о желаемой модели.
  • Получите честную оценку данных, простейший достойный проверки подход и цену исследования отдельно от создания.
Написать на
hello@ave17.com
О компании
Машинное обучение

Не входит: фиксированная цена по первому письму. Сама проверка возможности - работа.

A

Как идет проект машинного обучения.

Пять этапов. На первых двух экономят деньги; оба могут сознательно завершить проект.

Этап Что происходит Результат
Формулировка Определить задачу как результат и конкретные признаки хорошего ответа. Письменная задача с критериями приемки, согласованными двумя людьми.
Изучение Изучить данные: количество, чистоту, происхождение, законность. Честная оценка осуществимости, включая "не с этими данными".
Исходный уровень Испытать простейшее решение: правило, поиск по таблице, малую модель. Результат для улучшения, а иногда готовая система без необходимости модели.
Создание Конвейер, служба инференса, поиск, набор проверок оценки. Работающая система с версиями и одинаково измеряемым результатом.
Наблюдение Сдвиг, стоимость, отказы и уверенные ошибки. Обзор цифр, в том числе снизившихся.

Не входит: дата сдачи после первой беседы. Пока данные не изучены, любая дата - догадка с числом.

B

Где возникают ошибки.

Пять типичных провалов этой области названы заранее. Ни один не технический.

Демонстрация, которая не выходит в работу

Работало на двадцати выбранных примерах. Отложенного набора не было, остальные тысячу никто не проверил.

Защита: тестовый набор до создания из невыбранных случаев.

Уверенно неверно

Система отвечает на все, поскольку для этого создана. Ошибки выглядят как успехи, их не замечают.

Защита: путь отказа и оценка отказов как успеха.

Мы не имели права использовать данные

Позднее обнаружение, обычно извне проекта, делает работу недействительной, а не задерживает.

Защита: правовое основание до первого конвейера.

Работает, но никто не использует

Создано рядом с работой, не внутри; использование - лишний шаг, который никто не делает.

Защита: первый вопрос - какую существующую работу это меняет.

Нет ответственного после запуска

Модели, источники, цены меняются. Через полгода система незаметно хуже, ответственного для контроля нет.

Защита: ответственный с временем при передаче и назначенный обзор.

Не входит: утверждение, что мы избегаем всех пяти. Называем, чтобы вы могли проверить в ходе проекта.

C

Чего не утверждаем.

Короткий список. Все пункты - распространенные, но недопустимые утверждения.

Мы не утверждаем

  • Что модель что-то понимает. Она предсказывает; для многой полезной работы этого достаточно
  • Что результат публичного теста переносится на вашу задачу
  • Что больше данных всегда лучше; после некоторой точки лучшее помогает, большее нет
  • Что ошибок не бывает или цитата делает ответ верным
  • Что можем объяснить конкретное предложение большой модели

Что скажем

  • Простейший рабочий подход до интересного
  • Когда правило лучше модели и объяснимо
  • Когда честный ответ - данных еще нет
  • Цена исследования отдельно от создания
  • Какой из пяти провалов начинается

Название области - машинное обучение. Искусственный интеллект - рыночное название того, чего нет; с ним остальные утверждения труднее проверить.

Не входит: исключения для большого договора. Поэтому список на открытой странице, а не в предложении.

D

Стоимость.

Инференс на инфраструктуре, подогнанной под вашу. Ничего не отправляется; работает в браузере как оценка, не предложение цены.

Где машина Что это В месяц
Ваше оборудование или облако машину предоставляете вы 39 EUR / месяц
Наше · Small 2 ядра, 4 GB, 40 GB 69 EUR / месяц
Наше · Medium 4 ядра, 8 GB, 80 GB 119 EUR / месяц
Наше · Large 8 ядер, 16 GB, 160 GB 199 EUR / месяц
Дополнения Ставка
Каждый мост, бот или дополнительная служба 10 EUR за каждый в месяц, до 24
Поддержка Что это В месяц
Стандартная включена включена
Приоритетная 199 EUR / месяц 199 EUR / месяц
Настройка, однократно
590 EUR
Инженерная работа вне объема
110 EUR в час
Оценка
от 3 дней по 110 EUR в час
Свыше 1000 пользователей
шкала заканчивается, цена по запросу

НДС не добавляется: мы не зарегистрированы по нему, указанная сумма полная.

Настройка оплачивается один раз; остальное помесячно. Инженерная работа стоит 110 EUR в час. Модель, которой нужен GPU, оценивается по действительно нужной карте после того, как ее определит оценка.

Не входит: инженерная работа и видеокарта. Обе оцениваются по объему из оценки.

E

Что покрывает поддержка и что нет.

Те же два уровня, что у остальных систем. Граница проходит между эксплуатацией модели и ее улучшением.

Стандартная Приоритетная
Цена включена 199 EUR / месяц
Обращения за 30 дней 2 4
Сверх лимита оплата по часовой ставке оплата по часовой ставке
Время ответа в течение 2 рабочих дней в течение 8 рабочих часов
Сбои учитывается, никогда не оплачивается учитывается, никогда не оплачивается
Канал электронная почта комната с нами в чате

Рабочие часы с понедельника по пятницу, кроме праздничных дней: на запрос, отправленный в пятницу вечером, отвечаем в следующий рабочий день. Три отдельных вопроса в одном сообщении - три обращения.

Покрывается

  • Машина отключена, недоступна или возвращает ошибки
  • Отказ установленного компонента, включая обслуживание модели и индекс
  • Системные проблемы: диск, память, сертификаты, копии
  • Запрошенная перенастройка: смена модели, лимита, пересоздание индекса по имеющимся документам
  • Обновления установленного и все поломки при них

Не покрывается

  • Плохие ответы модели. Это оценка и инженерная работа с объемом, не обращение поддержки
  • Переобучение, дообучение, индекс нового корпуса
  • Объяснение отдельного предложения большой модели. Никто не может; это указано в блоке утверждений
  • Смена поведения сторонней модели после правок авторов
  • Разработка приложения, вызывающего модель
  • Определение разрешенных системе решений. Это ваше; мы создаем запись принятых решений

Не входит: 24-часовое дежурство. Ответы в рабочие часы, явно, не по подразумеванию; пункт 7 не обещает доступности.

F

Что остается вам и как уйти.

Довод за модель на своем оборудовании ничтожен, если части нельзя забрать. Здесь части и судьба каждой.

Веса никогда не были нашими
Мы запускаем открытые веса, опубликованные авторами под их лицензиями. Лицензируем не мы и забрать их не можем; платите за установку, оценку и эксплуатацию.
Индекс и векторные представления
Векторный индекс, представления и создавший их конвейер находятся на машине и передаются как есть, без прощального архива. Конвейер описан, чтобы преемник пересоздал индекс из ваших документов.
Набор оценки - актив
Отложенные случаи, код оценки и все результаты ваши, передаются со всем. Без них следующий инженер гадает, помогло ли изменение; наша работа освобождает вас от этого.
Запросы модели и конфигурация
Контроль версий, ревью ваших инженеров, каждое отклонение от настроек по умолчанию записано с причиной.
Данные всегда были вашими
Данные остаются там, где вы их разместили. Для пользы им не нужно покидать вашу инфраструктуру; ничто из присланного нам не попадает в модель, а данные клиентов никогда не используются для обучения. Соглашение об обработке делает это обязательство договорным.
Сам уход бесплатен
Уведомление за 1 месяц с любой стороны, без платы за уход, доступ отзывается по запросу. Передача 110 EUR в час, уход бесплатен. Пункт 13, страница ухода полностью.

Не можем передать неиспользованную модель и данные, которых у нас не было. Купленная для работы карта ваша и остается на месте; с нашей машины система переносится как любая другая.

Не входит: притязание на ваше. Условия не дают нам лицензии на данные, документы или результат; уведомление говорит это отдельно.

G

Какие сроки согласованы.

Сроки работы с соответствующими пунктами. Наличие модели ничего не меняет.

До начала
Заказ становится договором после нашего письменного подтверждения; все сказанное ранее - оценка. Настройка начинается после оплаты первого счета и предоставления домена, доступа к машине, если она ваша, и каталога для подключения. Пункт 4.
Стандартное обращение
2 за 30 дней, ответ в течение 2 рабочих дней, включено с машиной. Рабочие часы с понедельника по пятницу, кроме праздничных дней: на запрос, отправленный в пятницу вечером, отвечаем в следующий рабочий день.
Приоритетное обращение
4 за 30 дней, ответ в течение 8 рабочих часов, 199 EUR в месяц. Те же рабочие часы. Сверх любого лимита - 110 EUR в час.
Счет
Оплатить в течение 14 дней. Настройка разово до начала, обслуживание ежемесячно авансом; работа вне объема оценивается до начала, счет по завершении. Пункт 5.
Изменение цены
Как минимум за 30 дней до применения, никогда к уже выставленному месяцу. Пункт 5.
Изменение документов
Как минимум за 30 дней до существенного изменения; договор можно прекратить до вступления в силу. Дата начала действия версии напечатана с предыдущими датами ниже. Пункт 14.
Уведомление о прекращении
1 месяц письменно с любой стороны. Причина не нужна, никакой платы за уход. Пункт 13.
Нарушение
Любая сторона может прекратить немедленно при существенном нарушении другой, не исправленном за 14 дней после уведомления. Пункт 13.
Ваши данные после прекращения
Персональные данные, хранимые нами как обработчиком по поручению оператора, удаляются в течение 30 дней после прекращения, раньше по просьбе, если закон не требует хранения. Пункт 13.
Отказ потребителя
При заказе как физическое лицо, а не организация - 14 дней со дня договора; возврат в течение 14 дней после уведомления за вычетом работы, которую вы попросили начать в этот срок. Пункты 4 и 5a.

Сроки начала и завершения согласуются в письменном объёме работ до первого счёта. Поддержка учитывается в рабочих часах по пункту 6 условий.

Сроки завершения согласуются в письменном объёме вашего проекта.

H

С кем вы имеете дело.

С кем вы работаете и сопутствующие документы.

Компания AVE17 LTD, зарегистрирована в England and Wales, номер 17254143
Адрес 128 City Road, London, EC1V 2NX, United Kingdom
Защита данных Зарегистрирована в Information Commissioner's Office, номер ZC225076
Контакты hello@ave17.com
Часовая ставка 110 EUR в час. Мы не зарегистрированы по НДС, он не добавляется
Оценка От 3 дней по 110 EUR в час, фиксированно по письменному объему
Инференс От 39 EUR в месяц на вашем оборудовании. Карта оценивается по реальной потребности модели после проверки
Оплата Банковский перевод или карта. Счета оплачиваются в течение 14 дней
Уведомление 1 месяц с любой стороны, без причины и любой платы за уход
Соглашение об обработке Соглашение об обработке по статье 28 опубликовано и действует для каждого клиента бесплатно
Обучающие данные Присланное вами ничего не обучает; клиентские данные не объединяются и не улучшают продаваемое другим

Условия, уведомление и соглашение об обработке по статье 28 полностью опубликованы до просьбы что-либо подписать.

Написать на
hello@ave17.com
О компании
Машинное обучение

Не входит: юридический совет. Это наша позиция; о ваших обязанностях по EU AI Act или иному режиму консультируетесь вы. Мы пишем инженерные документы для вашего юриста.

I

Если не подходит.

Включая частый здесь исход: оценка возвращается с честным выводом, что задача не стоит выполнения. Это завершенная оплачиваемая работа.

Если решено не продолжать
Оценка с советом остаться на месте - завершенная работа; счет как при рекомендации создания. Нам платят за этот результат, а не предпочитаемый нами, поэтому цена оценки позволяет заказать ее до обязательств.
Если работа не соответствует соглашению
При заказе как потребитель Consumer Rights Act 2015 требует разумной заботливости и квалификации, дает право на повторную работу или снижение цены. Договор это не отменит, как указано в пункте 5a. При заказе организацией пункт 12 ограничивает совокупную ответственность за двенадцать месяцев уплаченной за них суммой; сверх нее обещаний нет.
Если хотите уйти
Уведомление за 1 месяц с любой стороны; сам уход бесплатен. Вы получаете систему как есть: базу, файлы, конфигурацию, а не прощальный экспорт; доступ отзывается по запросу. Передача оплачивается по 110 EUR в час, уход - нет. Пункт 13 и полная страница ухода.
Если мы не подходим
Если обычный облачный продукт уже решает задачу, с вашей стороны никто не возьмет ответственность за результат или решает только самая низкая цена в этом квартале, мы откажемся от работы. Лучше потерять заказ, чем выяснить это на третьем месяце.
Если что-то сломалось
Сбой учитывается и никогда не оплачивается при любом уровне. За этим нет обещания доступности, как говорит пункт 7: обещаем скорость ответа, а не отсутствие сбоев.

Все выше есть в условиях, соглашении об обработке или странице ухода, полностью опубликованных до подписи. Изменения сначала там, потом здесь; дата действия напечатана в документе.

Не входит: обещание неизмеренного показателя модели. Точность до оценки - выдуманная до оценки цифра, как говорит блок C.

Как это работает

  • A · Ход проекта машинного обучения
  • B · Где возникают ошибки

До покупки

  • C · Чего не утверждаем
  • D · Стоимость
  • E · Границы поддержки
  • G · Согласованные сроки

До доверия

  • F · Что остается и как уйти
  • H · С кем вы работаете
  • I · Если не подходит