Машинное обучение · Модели, которые можно запускать и проверять
Модель - компонент, а не стратегия. Работа - данные вокруг нее, оценка под ней и честный ответ о границах возможностей.
Оценка от 3 дней · инженерная работа 110 EUR в час · инференс на вашем оборудовании от 39 EUR в месяц · без добавления НДС
00
Как выглядит хороший ответ?
Первый вопрос определяет большинство проектов: как выглядит хороший ответ и как понять, что вы его получили?
Большинство приходит как технология, ищущая работу: кто-то увидел возможности модели и захотел такую. Полезная первая беседа идет наоборот.
Какое решение или работу она должна изменить? Как конкретно выглядит хороший ответ, чтобы двое согласились с оценкой? И что будет при ошибке: ошибки неизбежны и должны быть переносимыми.
Рекомендация решить задачу другим способом здесь считается нормальным результатом, а не несостоявшейся продажей. Обычно причина одна из двух: данных для обучения ещё нет либо правило решит задачу дешевле и при этом его можно будет объяснить.
Что выясняем сначала
- Задача как результат, а не технология
- Признаки хорошего ответа и кто оценивает
- Последствия неверного ответа и способ заметить
- Есть ли обучающие данные и законно ли их использование
- Можно ли заменить правилом, поиском по таблице или улучшенной формой
- Ценность при успехе, определяющая бюджет попытки
Что возвращаем
- Письменная задача и критерии приемки
- Честная оценка достаточности данных
- Первое испытание простейшего подхода, который может сработать
- Цена исследования отдельно от создания
- Совет не продолжать, если это верно
Не входит: модель, выбранная до формулировки задачи. Такой порядок приводит к владению демонстрацией.
01
Данные - большая часть работы.
Модель - простая часть. Чистые, отслеживаемые, законные данные для нее - нет.
Часы, выглядящие работой над моделью, в основном уходят на данные: поиск, очистку, разметку и способность позже назвать происхождение каждой части.
Происхождение - не бумажная формальность. Объяснение ответа начинается с обучающих данных; без этого модель нельзя обосновать.
Получение данных
- Конвейеры из ваших систем с версиями как у другого кода
- Очистка и удаление дублей по письменным правилам
- Разметка: кто, по каким указаниям, как решать разногласия
- Отложенный набор до просмотра данных
- Происхождение каждой записи для будущих вопросов
Соблюдение закона
- Правовое основание до первого запуска конвейера
- Минимизация персональных данных, псевдонимизация, где допускает задача
- Срок хранения по обязанности, а не удобству
- Технически возможное право на удаление, а не обещание
- Учет обработки, включающий обучение и инференс
Не входит: сбор данных без права использования. Неустановленное происхождение делает модель необоснованной.
02
Эксплуатация на виду у вас.
Инференс на вашем оборудовании: для пользы ничего не нужно отправлять наружу.
Моделей с открытыми весами достаточно для большинства реальных задач организации; при своем запуске ввод не выходит наружу.
Это важнее всего для ценных данных: документов, переписки, записей, которые нельзя отправлять. Модель через чужой API неприменима к вашим важным данным.
Внедрение
- Выбор модели по задаче, а не рейтингу
- Квантизация и пакетная обработка по вашему оборудованию
- Предоставление GPU или честный ответ, что достаточно CPU
- Служба инференса с лимитами, очередями и проверкой состояния
- Версии весов для воспроизведения ответа спустя месяцы
- Заранее определенное поведение при недоступности модели
Эксплуатация
- Задержка и стоимость измерены для каждого запроса, а не оценены
- Планирование емкости по реальному трафику
- Репетиции обновлений: новая модель меняет поведение
- Запись, какая версия ответила на какой запрос
- Мониторинг важного отказа: уверенно неверного ответа
Не входит: обещание, что локальный инференс всегда дешевле. Выше определенного объема - да, ниже - API; мы честно посчитаем.
03
Ответы на основе ваших документов.
Ответы по вашим документам с источником у каждого.
Обычно полезнее не модель, знающая вещи, а умеющая найти верный абзац в имеющемся и сказать, откуда он.
Это поиск; сложная работа в поиске, не генерации: что индексировать, как делить, поддерживать актуальность, действительно ли цитата подтверждает предложение.
Создание
- Индексирование ваших хранилищ с сохранением разрешений
- Деление по документу, а не фиксированному числу символов
- Векторные представления, пересоздаваемые вашей моделью
- Актуальность: как быстро правка документа меняет ответ
- Источники при каждом утверждении с проверкой в оценке
Сохранение достоверности
- Видимое "не знаю", используемое, а не декоративное
- Отказ в ответе без подтверждающих найденных данных
- Разрешения при поиске, чтобы никто не прочел запрещенное
- Оценка по вопросам с известными ответами при каждом изменении
- Способ человеку исправить ответ с изменением индекса
Не входит: безошибочная система. Поиск уменьшает выдумки, не устраняет; источник делает ошибку проверяемой, а не невозможной.
04
Показатель, который можно обосновать.
Показатель, получаемый одинаково каждый раз, иначе это демонстрация.
Без оценки нет разницы между работающей системой и однажды впечатлившей. Тестовый набор создается до системы из реальных случаев с ответами, согласованными знатоками предмета.
Одинаковый запуск при каждом изменении; результат сохраняется и при снижении.
Как измеряем
- Отложенный набор реальных случаев, согласованный до создания
- Метрики по задаче, а не эффектности
- Один набор проверок при каждом изменении для сравнения цифр
- Выборочная проверка человеком: метрики замечают не все
- Контроль сдвига после запуска: мир меняется, модель нет
Что сообщаем
- Результат, включая падения
- Характер неудач без усреднения
- Случаи обязательного отказа и был ли он
- Цена и задержка рядом с качеством: продукт включает все три
- Совет остановиться, если цифры не оправдывают продолжение
Не входит: рейтинг теста как доказательство пользы вам. Публичный тест измеряет публичную задачу.
05
Что разрешено решать.
Что решает система, что передает человеку и записи, показывающие случившееся.
Предлагающая и решающая системы - разные продукты с разными обязанностями. Граница - проектное решение, не случайно возникшее свойство.
Поэтому граница явная: что решать одной, что передать, что отвергнуть. Для каждого запроса запись показывает одно из трех.
Контроль
- Письменное описание решаемого и лишь предлагаемого
- Путь эскалации с человеком на другом конце
- Список вопросов, на которые нельзя отвечать
- Ограничения частоты и защита от злоупотреблений: модель - открытая дверь
- Журнал запросов и ответов со сроком хранения по обязанностям
Записи
- Версия ответа, подтверждение и время
- Учет обработки, включающий обучение и инференс
- Оценка воздействия, если требует применение
- Сохраненная история оценки, а не краткий пересказ
- Документация для наследующего, а не создавшего
Не входит: юридический совет по AI Act или иному режиму. Создаем записи и контроль; их читает ваш юрист.
Начало
Начните с задачи.
- Расскажите о задаче, приемлемом хорошем ответе и имеющихся данных. Не о желаемой модели.
- Получите честную оценку данных, простейший достойный проверки подход и цену исследования отдельно от создания.
- Написать на
- hello@ave17.com
- О компании
- Машинное обучение
Не входит: фиксированная цена по первому письму. Сама проверка возможности - работа.
A
Как идет проект машинного обучения.
Пять этапов. На первых двух экономят деньги; оба могут сознательно завершить проект.
| Этап | Что происходит | Результат |
|---|---|---|
| Формулировка | Определить задачу как результат и конкретные признаки хорошего ответа. | Письменная задача с критериями приемки, согласованными двумя людьми. |
| Изучение | Изучить данные: количество, чистоту, происхождение, законность. | Честная оценка осуществимости, включая "не с этими данными". |
| Исходный уровень | Испытать простейшее решение: правило, поиск по таблице, малую модель. | Результат для улучшения, а иногда готовая система без необходимости модели. |
| Создание | Конвейер, служба инференса, поиск, набор проверок оценки. | Работающая система с версиями и одинаково измеряемым результатом. |
| Наблюдение | Сдвиг, стоимость, отказы и уверенные ошибки. | Обзор цифр, в том числе снизившихся. |
Не входит: дата сдачи после первой беседы. Пока данные не изучены, любая дата - догадка с числом.
B
Где возникают ошибки.
Пять типичных провалов этой области названы заранее. Ни один не технический.
Демонстрация, которая не выходит в работу
Работало на двадцати выбранных примерах. Отложенного набора не было, остальные тысячу никто не проверил.
Защита: тестовый набор до создания из невыбранных случаев.
Уверенно неверно
Система отвечает на все, поскольку для этого создана. Ошибки выглядят как успехи, их не замечают.
Защита: путь отказа и оценка отказов как успеха.
Мы не имели права использовать данные
Позднее обнаружение, обычно извне проекта, делает работу недействительной, а не задерживает.
Защита: правовое основание до первого конвейера.
Работает, но никто не использует
Создано рядом с работой, не внутри; использование - лишний шаг, который никто не делает.
Защита: первый вопрос - какую существующую работу это меняет.
Нет ответственного после запуска
Модели, источники, цены меняются. Через полгода система незаметно хуже, ответственного для контроля нет.
Защита: ответственный с временем при передаче и назначенный обзор.
Не входит: утверждение, что мы избегаем всех пяти. Называем, чтобы вы могли проверить в ходе проекта.
C
Чего не утверждаем.
Короткий список. Все пункты - распространенные, но недопустимые утверждения.
Мы не утверждаем
- Что модель что-то понимает. Она предсказывает; для многой полезной работы этого достаточно
- Что результат публичного теста переносится на вашу задачу
- Что больше данных всегда лучше; после некоторой точки лучшее помогает, большее нет
- Что ошибок не бывает или цитата делает ответ верным
- Что можем объяснить конкретное предложение большой модели
Что скажем
- Простейший рабочий подход до интересного
- Когда правило лучше модели и объяснимо
- Когда честный ответ - данных еще нет
- Цена исследования отдельно от создания
- Какой из пяти провалов начинается
Название области - машинное обучение. Искусственный интеллект - рыночное название того, чего нет; с ним остальные утверждения труднее проверить.
Не входит: исключения для большого договора. Поэтому список на открытой странице, а не в предложении.
D
Стоимость.
Инференс на инфраструктуре, подогнанной под вашу. Ничего не отправляется; работает в браузере как оценка, не предложение цены.
| Где машина | Что это | В месяц |
|---|---|---|
| Ваше оборудование или облако | машину предоставляете вы | 39 EUR / месяц |
| Наше · Small | 2 ядра, 4 GB, 40 GB | 69 EUR / месяц |
| Наше · Medium | 4 ядра, 8 GB, 80 GB | 119 EUR / месяц |
| Наше · Large | 8 ядер, 16 GB, 160 GB | 199 EUR / месяц |
| Дополнения | Ставка |
|---|---|
| Каждый мост, бот или дополнительная служба | 10 EUR за каждый в месяц, до 24 |
| Поддержка | Что это | В месяц |
|---|---|---|
| Стандартная | включена | включена |
| Приоритетная | 199 EUR / месяц | 199 EUR / месяц |
- Настройка, однократно
- 590 EUR
- Инженерная работа вне объема
- 110 EUR в час
- Оценка
- от 3 дней по 110 EUR в час
- Свыше 1000 пользователей
- шкала заканчивается, цена по запросу
НДС не добавляется: мы не зарегистрированы по нему, указанная сумма полная.
Настройка оплачивается один раз; остальное помесячно. Инженерная работа стоит 110 EUR в час. Модель, которой нужен GPU, оценивается по действительно нужной карте после того, как ее определит оценка.
Не входит: инженерная работа и видеокарта. Обе оцениваются по объему из оценки.
E
Что покрывает поддержка и что нет.
Те же два уровня, что у остальных систем. Граница проходит между эксплуатацией модели и ее улучшением.
| Стандартная | Приоритетная | |
|---|---|---|
| Цена | включена | 199 EUR / месяц |
| Обращения за 30 дней | 2 | 4 |
| Сверх лимита | оплата по часовой ставке | оплата по часовой ставке |
| Время ответа | в течение 2 рабочих дней | в течение 8 рабочих часов |
| Сбои | учитывается, никогда не оплачивается | учитывается, никогда не оплачивается |
| Канал | электронная почта | комната с нами в чате |
Рабочие часы с понедельника по пятницу, кроме праздничных дней: на запрос, отправленный в пятницу вечером, отвечаем в следующий рабочий день. Три отдельных вопроса в одном сообщении - три обращения.
Покрывается
- Машина отключена, недоступна или возвращает ошибки
- Отказ установленного компонента, включая обслуживание модели и индекс
- Системные проблемы: диск, память, сертификаты, копии
- Запрошенная перенастройка: смена модели, лимита, пересоздание индекса по имеющимся документам
- Обновления установленного и все поломки при них
Не покрывается
- Плохие ответы модели. Это оценка и инженерная работа с объемом, не обращение поддержки
- Переобучение, дообучение, индекс нового корпуса
- Объяснение отдельного предложения большой модели. Никто не может; это указано в блоке утверждений
- Смена поведения сторонней модели после правок авторов
- Разработка приложения, вызывающего модель
- Определение разрешенных системе решений. Это ваше; мы создаем запись принятых решений
Не входит: 24-часовое дежурство. Ответы в рабочие часы, явно, не по подразумеванию; пункт 7 не обещает доступности.
F
Что остается вам и как уйти.
Довод за модель на своем оборудовании ничтожен, если части нельзя забрать. Здесь части и судьба каждой.
- Веса никогда не были нашими
- Мы запускаем открытые веса, опубликованные авторами под их лицензиями. Лицензируем не мы и забрать их не можем; платите за установку, оценку и эксплуатацию.
- Индекс и векторные представления
- Векторный индекс, представления и создавший их конвейер находятся на машине и передаются как есть, без прощального архива. Конвейер описан, чтобы преемник пересоздал индекс из ваших документов.
- Набор оценки - актив
- Отложенные случаи, код оценки и все результаты ваши, передаются со всем. Без них следующий инженер гадает, помогло ли изменение; наша работа освобождает вас от этого.
- Запросы модели и конфигурация
- Контроль версий, ревью ваших инженеров, каждое отклонение от настроек по умолчанию записано с причиной.
- Данные всегда были вашими
- Данные остаются там, где вы их разместили. Для пользы им не нужно покидать вашу инфраструктуру; ничто из присланного нам не попадает в модель, а данные клиентов никогда не используются для обучения. Соглашение об обработке делает это обязательство договорным.
- Сам уход бесплатен
- Уведомление за 1 месяц с любой стороны, без платы за уход, доступ отзывается по запросу. Передача 110 EUR в час, уход бесплатен. Пункт 13, страница ухода полностью.
Не можем передать неиспользованную модель и данные, которых у нас не было. Купленная для работы карта ваша и остается на месте; с нашей машины система переносится как любая другая.
Не входит: притязание на ваше. Условия не дают нам лицензии на данные, документы или результат; уведомление говорит это отдельно.
G
Какие сроки согласованы.
Сроки работы с соответствующими пунктами. Наличие модели ничего не меняет.
- До начала
- Заказ становится договором после нашего письменного подтверждения; все сказанное ранее - оценка. Настройка начинается после оплаты первого счета и предоставления домена, доступа к машине, если она ваша, и каталога для подключения. Пункт 4.
- Стандартное обращение
- 2 за 30 дней, ответ в течение 2 рабочих дней, включено с машиной. Рабочие часы с понедельника по пятницу, кроме праздничных дней: на запрос, отправленный в пятницу вечером, отвечаем в следующий рабочий день.
- Приоритетное обращение
- 4 за 30 дней, ответ в течение 8 рабочих часов, 199 EUR в месяц. Те же рабочие часы. Сверх любого лимита - 110 EUR в час.
- Счет
- Оплатить в течение 14 дней. Настройка разово до начала, обслуживание ежемесячно авансом; работа вне объема оценивается до начала, счет по завершении. Пункт 5.
- Изменение цены
- Как минимум за 30 дней до применения, никогда к уже выставленному месяцу. Пункт 5.
- Изменение документов
- Как минимум за 30 дней до существенного изменения; договор можно прекратить до вступления в силу. Дата начала действия версии напечатана с предыдущими датами ниже. Пункт 14.
- Уведомление о прекращении
- 1 месяц письменно с любой стороны. Причина не нужна, никакой платы за уход. Пункт 13.
- Нарушение
- Любая сторона может прекратить немедленно при существенном нарушении другой, не исправленном за 14 дней после уведомления. Пункт 13.
- Ваши данные после прекращения
- Персональные данные, хранимые нами как обработчиком по поручению оператора, удаляются в течение 30 дней после прекращения, раньше по просьбе, если закон не требует хранения. Пункт 13.
- Отказ потребителя
- При заказе как физическое лицо, а не организация - 14 дней со дня договора; возврат в течение 14 дней после уведомления за вычетом работы, которую вы попросили начать в этот срок. Пункты 4 и 5a.
Сроки начала и завершения согласуются в письменном объёме работ до первого счёта. Поддержка учитывается в рабочих часах по пункту 6 условий.
Сроки завершения согласуются в письменном объёме вашего проекта.
H
С кем вы имеете дело.
С кем вы работаете и сопутствующие документы.
| Компания | AVE17 LTD, зарегистрирована в England and Wales, номер 17254143 |
| Адрес | 128 City Road, London, EC1V 2NX, United Kingdom |
| Защита данных | Зарегистрирована в Information Commissioner's Office, номер ZC225076 |
| Контакты | hello@ave17.com |
| Часовая ставка | 110 EUR в час. Мы не зарегистрированы по НДС, он не добавляется |
| Оценка | От 3 дней по 110 EUR в час, фиксированно по письменному объему |
| Инференс | От 39 EUR в месяц на вашем оборудовании. Карта оценивается по реальной потребности модели после проверки |
| Оплата | Банковский перевод или карта. Счета оплачиваются в течение 14 дней |
| Уведомление | 1 месяц с любой стороны, без причины и любой платы за уход |
| Соглашение об обработке | Соглашение об обработке по статье 28 опубликовано и действует для каждого клиента бесплатно |
| Обучающие данные | Присланное вами ничего не обучает; клиентские данные не объединяются и не улучшают продаваемое другим |
Условия, уведомление и соглашение об обработке по статье 28 полностью опубликованы до просьбы что-либо подписать.
- Написать на
- hello@ave17.com
- О компании
- Машинное обучение
Не входит: юридический совет. Это наша позиция; о ваших обязанностях по EU AI Act или иному режиму консультируетесь вы. Мы пишем инженерные документы для вашего юриста.
I
Если не подходит.
Включая частый здесь исход: оценка возвращается с честным выводом, что задача не стоит выполнения. Это завершенная оплачиваемая работа.
- Если решено не продолжать
- Оценка с советом остаться на месте - завершенная работа; счет как при рекомендации создания. Нам платят за этот результат, а не предпочитаемый нами, поэтому цена оценки позволяет заказать ее до обязательств.
- Если работа не соответствует соглашению
- При заказе как потребитель Consumer Rights Act 2015 требует разумной заботливости и квалификации, дает право на повторную работу или снижение цены. Договор это не отменит, как указано в пункте 5a. При заказе организацией пункт 12 ограничивает совокупную ответственность за двенадцать месяцев уплаченной за них суммой; сверх нее обещаний нет.
- Если хотите уйти
- Уведомление за 1 месяц с любой стороны; сам уход бесплатен. Вы получаете систему как есть: базу, файлы, конфигурацию, а не прощальный экспорт; доступ отзывается по запросу. Передача оплачивается по 110 EUR в час, уход - нет. Пункт 13 и полная страница ухода.
- Если мы не подходим
- Если обычный облачный продукт уже решает задачу, с вашей стороны никто не возьмет ответственность за результат или решает только самая низкая цена в этом квартале, мы откажемся от работы. Лучше потерять заказ, чем выяснить это на третьем месяце.
- Если что-то сломалось
- Сбой учитывается и никогда не оплачивается при любом уровне. За этим нет обещания доступности, как говорит пункт 7: обещаем скорость ответа, а не отсутствие сбоев.
Все выше есть в условиях, соглашении об обработке или странице ухода, полностью опубликованных до подписи. Изменения сначала там, потом здесь; дата действия напечатана в документе.
Не входит: обещание неизмеренного показателя модели. Точность до оценки - выдуманная до оценки цифра, как говорит блок C.
Как это работает
- A · Ход проекта машинного обучения
- B · Где возникают ошибки
До покупки
- C · Чего не утверждаем
- D · Стоимость
- E · Границы поддержки
- G · Согласованные сроки
До доверия
- F · Что остается и как уйти
- H · С кем вы работаете
- I · Если не подходит