Механизмът за машинно обучение в облака на Google (CMLE) предлага ли автоматично придобиване и конфигуриране на ресурси и обработва ли изключване на ресурси след приключване на обучението на модела?
Cloud Machine Learning Engine (CMLE) е мощен инструмент, предоставен от Google Cloud Platform (GCP) за обучение на модели за машинно обучение по разпределен и паралелен начин. Той обаче не предлага автоматично придобиване и конфигуриране на ресурс, нито обработва изключване на ресурс след приключване на обучението на модела. В този отговор ще разгледаме подробностите за CMLE, неговите възможности и необходимостта от ръчно управление на ресурсите.
CMLE е предназначен да опрости процеса на обучение и внедряване на модели за машинно обучение в мащаб. Той предоставя управлявана среда, която позволява на потребителите да се съсредоточат върху разработването на модели, а не върху управлението на инфраструктурата. CMLE използва силата на инфраструктурата на GCP, за да разпредели обучителното натоварване между множество машини, което позволява по-бързо време за обучение и обработка на големи масиви от данни.
Когато използват CMLE, потребителите имат гъвкавостта да избират вида и броя на ресурсите, необходими за тяхната обучителна работа. Те могат да избират тип машина, брой работници и други параметри въз основа на техните специфични изисквания. CMLE обаче не придобива и конфигурира автоматично тези ресурси. Отговорност на потребителя е да осигури необходимите ресурси, преди да започне обучението.
За да придобият ресурсите, потребителите могат да използват GCP услуги като Compute Engine или Kubernetes Engine. Тези услуги предоставят мащабируема и гъвкава инфраструктура, която да поеме натовареността от обучение. Потребителите могат да създават екземпляри или контейнери на виртуална машина, да ги конфигурират с необходимите софтуерни зависимости и след това да ги използват като работници в CMLE.
След като заданието за обучение приключи, CMLE не изключва автоматично ресурсите, използвани за обучение. Това е така, защото може да се наложи обученият модел да бъде разгърнат и обслужван за целите на извода. От потребителя зависи да реши кога и как да прекрати ресурсите, за да избегне ненужни разходи.
За да обобщим, CMLE предлага мощна платформа за паралелно обучение по модел на машинно обучение. Той обаче изисква ръчно придобиване и конфигуриране на ресурси и не обработва изключване на ресурс след приключване на обучението. Потребителите трябва да предоставят необходимите ресурси с помощта на GCP услуги като Compute Engine или Kubernetes Engine и да управляват своя жизнен цикъл въз основа на техните специфични изисквания.
Други скорошни въпроси и отговори относно Напредък в машинното обучение:
- До каква степен Kubeflow наистина опростява управлението на работните процеси за машинно обучение в Kubernetes, като се има предвид допълнителната сложност на инсталирането, поддръжката и кривата на обучение за мултидисциплинарни екипи?
- Как може експерт в Colab да оптимизира използването на свободни GPU/TPU, да управлява устойчивостта на данните и зависимостите между сесиите и да осигури възпроизводимост и сътрудничество в мащабни проекти за наука за данни?
- Как сходството между изходния и целевия набор от данни, заедно с техниките за регуляризация и изборът на скорост на обучение, влияят на ефективността на трансферното обучение, прилагано чрез TensorFlow Hub?
- По какво се различава подходът за извличане на характеристики от фината настройка при трансферно обучение с TensorFlow Hub и в кои ситуации е по-удобен и двата?
- Какво разбирате под трансферно обучение и как според вас то се свързва с предварително обучените модели, предлагани от TensorFlow Hub?
- Ако вашият лаптоп отнема часове за обучение на модел, как бихте използвали виртуална машина с графичен процесор и JupyterLab, за да ускорите процеса и да организирате зависимостите, без да нарушавате средата си?
- Ако вече използвам преносими компютри локално, защо трябва да използвам JupyterLab на виртуална машина с графичен процесор? Как да управлявам зависимостите (pip/conda), данните и разрешенията, без да нарушавам средата си?
- Може ли някой без опит в Python и с основни понятия за изкуствен интелект да използва TensorFlow.js, за да зареди модел, конвертиран от Keras, да интерпретира файла model.json и шардовете и да осигури интерактивни прогнози в реално време в браузъра?
- Как може експерт по изкуствен интелект, но начинаещ в програмирането, да се възползва от TensorFlow.js?
- Какъв е пълният работен процес за подготовка и обучение на персонализиран модел за класификация на изображения с AutoML Vision, от събирането на данни до внедряването на модела?
Вижте още въпроси и отговори в „Напредък в машинното обучение“.