TFX, което означава TensorFlow Extended, е цялостна платформа от край до край за изграждане на готови за производство тръбопроводи за машинно обучение. Той предоставя набор от инструменти и компоненти, които улесняват разработването и внедряването на мащабируеми и надеждни системи за машинно обучение. TFX е проектиран да се справи с предизвикателствата на управлението и оптимизирането на тръбопроводите за машинно обучение, като позволява на учените и инженерите по данни да се съсредоточат върху изграждането и итерирането на модели, вместо да се занимават със сложността на инфраструктурата и управлението на данни.
TFX организира тръбопровода за машинно обучение в няколко хоризонтални слоя, всеки от които служи за специфична цел в цялостния работен процес. Тези слоеве работят заедно, за да осигурят плавния поток от данни и моделни артефакти, както и ефективното изпълнение на тръбопровода. Нека проучим различните слоеве в TFX за управление и оптимизиране на тръбопроводи:
1. Поглъщане и валидиране на данни:
Този слой е отговорен за приемането на необработени данни от различни източници, като файлове, бази данни или системи за стрийминг. TFX предоставя инструменти като TensorFlow Data Validation (TFDV) за извършване на валидиране на данни и генериране на статистика. TFDV помага за идентифициране на аномалии, липсващи стойности и отклонение на данните, като гарантира качеството и последователността на входните данни.
2. Предварителна обработка на данни:
В този слой TFX предлага TensorFlow Transform (TFT) за извършване на предварителна обработка на данни и инженеринг на функции. TFT позволява на потребителите да дефинират трансформации на входни данни, като мащабиране, нормализиране, еднократно кодиране и други. Тези трансформации се прилагат последователно както по време на обучение, така и по време на обслужване, като се гарантира съгласуваност на данните и се намалява рискът от изкривяване на данните.
3. Обучение на модели:
TFX използва мощните възможности за обучение на TensorFlow в този слой. Потребителите могат да дефинират и обучават своите модели за машинно обучение, като използват API от високо ниво на TensorFlow или персонализиран код на TensorFlow. TFX предоставя инструменти като TensorFlow Model Analysis (TFMA) за оценка и валидиране на обучените модели с помощта на показатели, визуализации и техники за нарязване. TFMA помага да се оцени ефективността на модела и да се идентифицират потенциални проблеми или отклонения.
4. Утвърждаване и оценка на модела:
Този слой се фокусира върху валидирането и оценката на обучените модели. TFX предоставя TensorFlow Data Validation (TFDV) и TensorFlow Model Analysis (TFMA) за извършване на цялостно валидиране и оценка на модела. TFDV помага да се валидират входните данни спрямо очакванията, дефинирани по време на фазата на приемане на данни, докато TFMA позволява на потребителите да оценят производителността на модела спрямо предварително дефинирани показатели и срезове.
5. Внедряване на модела:
TFX поддържа внедряване на модел в различни среди, включително TensorFlow Serving, TensorFlow Lite и TensorFlow.js. TensorFlow Serving позволява на потребителите да обслужват своите модели като мащабируеми и ефективни уеб услуги, докато TensorFlow Lite и TensorFlow.js позволяват внедряване съответно на мобилни и уеб платформи. TFX предоставя инструменти и помощни програми за пакетиране и внедряване на обучените модели с лекота.
6. Оркестрация и управление на работния процес:
TFX се интегрира със системи за управление на работния процес, като Apache Airflow и Kubeflow Pipelines, за да организира и управлява целия тръбопровод за машинно обучение. Тези системи предоставят възможности за планиране, наблюдение и обработка на грешки, като гарантират надеждното изпълнение на тръбопровода.
Като организира тръбопровода в тези хоризонтални слоеве, TFX позволява на учените и инженерите по данни да разработват и оптимизират системите за машинно обучение ефективно. Той предоставя структуриран и мащабируем подход за управление на сложността на приемане на данни, предварителна обработка, обучение на модели, валидиране, оценка и внедряване. С TFX потребителите могат да се съсредоточат върху изграждането на висококачествени модели и предоставянето на стойност за своите организации.
TFX за управление и оптимизация на конвейер включва хоризонтални слоеве за поглъщане и валидиране на данни, предварителна обработка на данни, обучение на модел, валидиране и оценка на модела, внедряване на модел и оркестрация и управление на работния процес. Тези слоеве работят заедно, за да рационализират разработването и внедряването на тръбопроводи за машинно обучение, позволявайки на специалистите по данни и инженерите да изграждат мащабируеми и надеждни системи за машинно обучение.
Други скорошни въпроси и отговори относно Основи на EITC/AI/TFF TensorFlow:
- Как може да се използва слой за вграждане, за да се присвоят автоматично правилни оси за диаграма на представяне на думи като вектори?
- Каква е целта на максималното обединяване в CNN?
- Как се прилага процесът на извличане на характеристики в конволюционна невронна мрежа (CNN) за разпознаване на изображения?
- Необходимо ли е да се използва функция за асинхронно обучение за модели за машинно обучение, работещи в TensorFlow.js?
- Какъв е параметърът за максимален брой думи на TensorFlow Keras Tokenizer API?
- Може ли API на TensorFlow Keras Tokenizer да се използва за намиране на най-често срещаните думи?
- Какво е TOCO?
- Каква е връзката между редица епохи в модел на машинно обучение и точността на прогнозата от изпълнението на модела?
- Приложният програмен интерфейс (API) за съседи на пакета в Neural Structured Learning на TensorFlow създава ли разширен набор от данни за обучение въз основа на естествени графични данни?
- Какво представлява API за съседи на пакета в невронно структурирано обучение на TensorFlow?
Вижте още въпроси и отговори в EITC/AI/TFF TensorFlow Fundamentals