Leyendo La Hoja De Té De La Primera Conferencia De MLOps

Rev 3 se llevó a cabo del 5 al 6 de mayo en el Marquis Marriott en Nueva York, NY. Fue la conferencia MLOps número uno del planeta, y la audiencia estaba compuesta por científicos de datos y líderes de TI. Los expertos se reunieron y compartieron información estratégica y práctica sobre las mejores prácticas en MLOps para impulsar el progreso dentro de sus organizaciones.

Estándares MLOps para operaciones de aprendizaje automático. Es un ciclo de vida de MLOps de extremo a extremo que recopila datos, entrena modelos y crea aplicaciones. Asistimos a la conferencia y aprendimos una serie de tendencias del desarrollo actual de AL/ML, incluidas las siguientes:

  • Los términos AI y ML se usan indistintamente.
  • El aprendizaje automático toma decisiones objetivas.
  • Existe la necesidad de optimizar el ciclo de vida de MLOps de extremo a extremo en una plataforma.
  • El avance tecnológico debe seguir las normas de IA.

Los términos AI y ML se usan indistintamente

La inteligencia artificial (IA) se utiliza para describir máquinas que imitan y muestran habilidades cognitivas humanas asociadas con la mente humana, como el aprendizaje y la resolución de problemas. AI toma decisiones basadas en la información/datos recopilados.

El aprendizaje automático (ML) es una parte de la inteligencia artificial. Es el estudio de algoritmos informáticos que pueden mejorar automáticamente a través de la experiencia y el uso de datos.

En 1959, Arthur Samuel, pionero en juegos de computadora e inteligencia artificial, definió el aprendizaje automático como el campo de estudio que le da a las computadoras la capacidad de aprender sin ser programadas explícitamente.

Estrictamente hablando, AI es el superconjunto de ML.

AI es el superconjunto de ML.

Imagen por autor

En realidad, escuchamos a la mayoría de los oradores usar los términos AL y ML indistintamente. Después de todo, ambos se refieren a las habilidades de decisión de las máquinas.

AL y ML se usan indistintamente.

Imagen por autor

A lo largo de este artículo, también usamos los términos AI y ML indistintamente.

El aprendizaje automático toma decisiones objetivas

Cuando los humanos toman decisiones, hay dos cosas a considerar:

  • La experiencia previa
  • Fuentes de información

A partir de la experiencia anterior, una mente humana puede verse afectada por muchos sesgos cognitivos que afectan su juicio y dificultan la toma de una decisión predecible.

Hablando de las fuentes de información, los datos digitales de hoy están creciendo exponencialmente. Un experto imparcial puede tomar una mejor decisión si se le da suficiente tiempo. Sin embargo, una mente humana puede no tener la capacidad de procesamiento para esa cantidad de datos. Alternativamente, creamos atajos o reglas generales para acelerar el proceso, lo que puede conducir a decisiones subóptimas.

Por estas razones, tiene sentido utilizar el aprendizaje automático para obtener información de los datos y tomar las medidas correspondientes. Con el poder de la computación, el aprendizaje automático explora la gran cantidad de datos originales, imparciales y, probablemente, producirá decisiones objetivas.

ML obtiene información de los datos.

Imagen por autor

Rev 3 se centró en cómo las empresas pueden desencadenar innovaciones revolucionarias a través de un acceso más fácil a la infraestructura, una mejor colaboración entre equipos y un aprendizaje e iteración de modelos más rápidos. La conferencia tuvo varios temas:

  • La ciencia de datos, cuando se hace correctamente, impulsa cambios importantes en las empresas y la humanidad.
  • Los medicamentos que salvan vidas pueden salir al mercado más rápido. Podemos tener cultivos más saludables, mejores experiencias para los clientes y mucho más.
  • Es fundamental conectar puntos, aprovechar el trabajo anterior y acceder rápidamente a recursos de TI potentes.

Una necesidad de optimizar el ciclo de vida de MLOps de extremo a extremo en una plataforma

Hay tres activos principales en el aprendizaje automático: datos, modelos y aplicaciones. Una fuente de datos es la ubicación de donde se originan los datos. Puede ser una base de datos, un data mart, un almacén de datos, un archivo plano, mediciones en vivo de dispositivos físicos, datos web raspados o cualquiera de los tremendos datos provenientes de servicios de datos estáticos y de transmisión.

Un modelo es una expresión de un algoritmo que analiza los tremendos datos para encontrar patrones o hacer predicciones. Los modelos son los motores matemáticos de la inteligencia artificial. No hay restricciones sobre los objetos que pueden convertirse en características de un modelo, y tampoco hay límite para los usos del aprendizaje automático.

La combinación de estos dos produce infinitas posibilidades para aplicaciones de aprendizaje automático. Estas son algunas de las mejores opciones:

  • Las plataformas de redes sociales aprenden de las experiencias de los usuarios para sugerir amigos.
  • Los sitios web rastrean el comportamiento de los usuarios para hacer recomendaciones de productos.
  • Las compañías farmacéuticas obtienen información de los datos de investigación.
  • Los automóviles navegan y maniobran por una computadora sin control humano.
  • El análisis de sentimiento determina la emoción u opinión de un hablante o escritor.
  • Los servidores de correo electrónico detectan correos electrónicos no deseados.
  • El reconocimiento facial y de voz se utiliza para la autenticación.

El aprendizaje automático ha avanzado drásticamente en la última década. Existen formas estandarizadas de recopilar datos, entrenar modelos y crear aplicaciones. El área candente es agilizar el ciclo de vida de MLOps de extremo a extremo en una plataforma, lo que permite que los científicos de datos colaboren con sus herramientas, lenguajes e infraestructura preferidos, junto con la administración, el gobierno y la seguridad de los recursos centrales de TI, sin depender de un proveedor. .

Optimice el ciclo de vida completo de MLOps de datos, modelos y aplicaciones, en una sola plataforma.

Imagen por autor

El avance tecnológico debe seguir las normas de IA

La inteligencia artificial es una tecnología importante con potencial disruptivo para la industria, el gobierno y el público. Trae beneficios y publicidad a las empresas y la sociedad. Sin embargo, existen numerosas preguntas sobre cómo las empresas y la sociedad deberían abordar las innumerables implicaciones de los sistemas verdaderamente autónomos.

Los sistemas de IA pueden ser cajas negras abusivas. Pueden ser pirateados; pueden violar las leyes de privacidad de datos y no discriminación, y pueden dañar físicamente a las personas.

Patrick Hall, científico principal de BNH.AI, hizo una excelente presentación sobre "Científicos de datos y C-Suiters: ¿su IA está violando la ley?". Recordó a las empresas de tecnología que sigan prácticas sólidas de gestión de riesgos de IA en gestión de riesgos modelo, seguridad informática, privacidad de datos y leyes contra la discriminación.

AI.gov es el hogar de la Iniciativa Nacional de IA. Señala actividades en curso que promueven el liderazgo de EE. UU. en IA. La Ley de Iniciativa Nacional de IA de 2020 (DIVISIÓN E, SEC. 5001) se convirtió en ley el 1 de enero de 2021 y establece un programa coordinado en todo el gobierno federal para acelerar la investigación y aplicación de IA para la prosperidad económica y la seguridad nacional de la nación. Cataloga publicaciones y eventos recientes relacionados con la IA, que las empresas deben seguir.

El avance tecnológico debe seguir las normas de IA/ML.

Imagen por autor

Conclusión

Asistimos a Rev 3, la Conferencia MLOps #1 en el planeta. Fue una reunión fantástica. El contenido fue sustantivo e inspirador, la asistencia fue alta, la energía fue vibrante y los detalles de producción fueron excelentes.

Gracias por leer. Espero que esto haya sido útil.

Fuente: https://betterprogramming.pub/reading-the-tea-leaf-from-the-first-ever-mlops-conference-7f507990a392

#mlops #ai 

Leyendo La Hoja De Té De La Primera Conferencia De MLOps

史上初のMLOpsカンファレンスからティーリーフを読む

Rev 3は、5月5日から6日まで、ニューヨーク州ニューヨークのマーキスマリオットで開催されました。これは地球上でナンバーワンのMLOps会議であり、聴衆はデータサイエンティストとITリーダーでした。専門家が集まり、MLOpsのベストプラクティスに関する戦略的かつ実践的な洞察を共有して、組織内の進歩を推進しました。

機械学習操作のMLOps標準。これは、データを収集し、モデルをトレーニングし、アプリケーションを構築するエンドツーエンドのMLOpsライフサイクルです。私たちは会議に出席し、現在のAL/ML開発から次のような多くの傾向を学びました。

  • AIとMLという用語は同じ意味で使用されます。
  • 機械学習は客観的な決定を下します。
  • 1つのプラットフォームでエンドツーエンドのMLOpsライフサイクルを合理化する必要があります。
  • 技術の進歩はAI規制に従わなければなりません。

AIとMLという用語は同じ意味で使用されます

人工知能(AI)は、学習や問題解決など、人間の心に関連する人間の認知スキルを模倣して表示するマシンを説明するために使用されます。AIは、収集された情報/データに基づいて意思決定を行います。

機械学習(ML)は、人工知能の一部です。これは、経験とデータを使用して自動的に改善できるコンピューターアルゴリズムの研究です。

1959年、コンピューターゲームと人工知能のパイオニアであるArthur Samuelは、機械学習を、明示的にプログラムされていなくてもコンピューターが学習できるようにする研究分野と定義しました。

厳密に言えば、AIはMLのスーパーセットです。

AIはMLのスーパーセットです。

著者による画像

実際には、ほとんどのスピーカーがALとMLという用語を同じ意味で使用しているのを聞きました。結局のところ、どちらもマシンの意思決定スキルを指します。

ALとMLは同じ意味で使用されます。

著者による画像

この記事全体を通して、AIとMLという用語も同じ意味で使用しています。

機械学習は客観的な決定を下します

人間が決定を下すとき、考慮すべき2つのことがあります。

  • 以前の経験
  • 情報源

以前の経験から、人間の心は彼らの判断を損ない、予測可能な決定をすることを困難にする多くの認知バイアスに苦しんでいる可能性があります。

情報源と言えば、今日のデジタルデータは飛躍的に成長しています。偏見のない専門家は、十分な時間が与えられれば、より良い決定を下すことができます。ただし、人間の心には、その量のデータを処理する能力がない場合があります。または、プロセスを高速化するためのショートカットまたは経験則を作成します。これにより、最適ではない決定が行われる可能性があります。

これらの理由から、機械学習を使用してデータから洞察を導き出し、それに応じて行動を起こすことは理にかなっています。機械学習は、コンピューティング能力を使用して、元の偏りのない膨大な量のデータを探索し、おそらく客観的な決定を下します。

MLは、データから洞察を引き出します。

著者による画像

Rev 3は、インフラストラクチャへのアクセスの容易さ、チーム間のコラボレーションの向上、モデルの学習と反復の高速化を通じて、企業が画期的なイノベーションを実現する方法に焦点を当てました。会議にはいくつかのテーマがありました。

  • データサイエンスは、正しく行われると、企業と人類に大きなステップの変化をもたらします。
  • 命を救う薬はより早く市場に出ることができます。私たちはより健康的な作物、より良い顧客体験などを手に入れることができます。
  • ドットを接続し、過去の作業に基づいて構築し、強力なITリソースにすばやくアクセスすることが重要です。

1つのプラットフォームでエンドツーエンドのMLOpsライフサイクルを合理化する必要性

機械学習には、データ、モデル、アプリケーションの3つの主要な資産があります。データソースは、データの発信元の場所です。これは、データベース、データマート、データウェアハウス、フラットファイル、物理デバイスからのライブ測定、スクレイプされたWebデータ、または静的データサービスとストリーミングデータサービスからの膨大なデータのいずれかです。

モデルは、膨大なデータを調べてパターンを見つけたり、予測を行ったりするアルゴリズムの表現です。モデルは、人工知能の数学的エンジンです。モデルの特徴となる可能性のあるオブジェクトに制約はなく、機械学習の用途にも制限はありません。

これら2つの組み合わせにより、機械学習アプリケーションに無限の可能性が生まれます。ここにいくつかのトップの選択肢があります:

  • ソーシャルメディアプラットフォームは、ユーザーの経験から学習して友達を提案します。
  • Webサイトは、ユーザーの行動を追跡して製品の推奨事項を作成します。
  • 製薬会社は、調査データから洞察を引き出します。
  • 自動車は、人間が制御することなく、コンピューターによってナビゲートおよび操作します。
  • 感情分析は、話者または作家の感情または意見を決定します。
  • 電子メールサーバーはスパム電子メールを検出します。
  • 認証には顔認識と音声認識が使用されます。

機械学習は過去10年間で劇的に進歩しました。データを収集し、モデルをトレーニングし、アプリケーションを構築するための標準化された方法があります。注目すべき点は、1つのプラットフォームでエンドツーエンドのMLOpsライフサイクルを合理化することです。これにより、データサイエンティストは、ベンダーロックインなしで、ITの中央リソース管理、ガバナンス、セキュリティに加えて、好みのツール、言語、インフラストラクチャと連携できます。 。

1つのプラットフォームで、データ、モデル、アプリケーションのエンドツーエンドのMLOpsライフサイクルを合理化します。

著者による画像

技術の進歩はAI規制に従わなければなりません

人工知能は、業界、政府、および一般市民にとって破壊的な可能性を秘めた重要なテクノロジーです。それは企業や社会に利益と誇大宣伝をもたらします。しかし、企業や社会が真に自律的なシステムの無数の影響にどのように対処すべきかについては、多くの疑問があります。

AIシステムは、虐待的なブラックボックスになる可能性があります。それらはハッキングされる可能性があります。それらはデータプライバシーおよび無差別法に違反する可能性があり、人々に物理的に害を及ぼす可能性があります。

BNH.AIの主任科学者であるPatrickHallは、「データサイエンティストとC-Suiter:あなたのAIは法を破っていますか?」について優れたプレゼンテーションを行いました。彼はテクノロジー企業に、モデルリスク管理、コンピューターセキュリティ、データプライバシー、および無差別法における堅実なAIリスク管理慣行に従うように促しました。

AI.govは、NationalAIInitiativeの本拠地です。これは、AIにおける米国のリーダーシップを前進させる継続的な活動を示しています。2020年の国家AIイニシアチブ法(DIVISION E、SEC。5001)は、2021年1月1日に法律となり、AIの研究と国家の経済的繁栄と国家安全保障への適用を加速するために、連邦政府全体で調整されたプログラムを提供しました。これは、企業が従うべき最近のAI関連の出版物やイベントをカタログ化したものです。

技術の進歩はAI/ML規制に従わなければなりません。

著者による画像

結論

地球上で第1位のMLOpsカンファレンスであるRev3に参加しました。素晴らしい会議でした。内容は実質的で刺激的で、出席者は多く、エネルギーは活気に満ちていて、制作の詳細は素晴らしかった。

読んでくれてありがとう。これがお役に立てば幸いです。

ソース:https ://betterprogramming.pub/reading-the-tea-leaf-from-the-first-ever-mlops-conference-7f507990a392

#mlops 

史上初のMLOpsカンファレンスからティーリーフを読む

Deploy H2O Machine Learning Platform to Kubernetes

H2O Kubernetes

Repository with official tools to aid the deployment of H2O Machine Learning platform to Kubernetes. There are two essential tools to be found in this repository:

  1. H2O Operator - for first class H2O Kubernetes support (README),
  2. Command Line Interface - to ease deployment of the operator and/or deploy H2O to clusters without the operator (README).

Binaries available: Download for Mac / Linux / Windows. Or build from source.

operator

The operator is an implementation of Kubernetes operator pattern specifically for H2O. Once deployed to a Kubernetes cluster, a new custom resource named H2O is recognized by Kubernetes, making it easy to create H2O clusters inside Kubernetes cluster using plain kubectl. The CLI is a binary usually running on the client's side, usable to deploy the operator itself into Kubernetes cluster or create H2O clusters in Kubernetes in cases when the operator itself may not be used. There are also Helm charts available as yet another way to deploy H2O into Kubernetes. Using the operator first and then falling back to CLI/Helm is the recommended approach.

For detailed instructions on how to use each tool, please refer to the specific user guides:

Contributing

Contributions are welcome and encouraged. Please refer to the contributing guide. If you've encountered a bug, or there is any feature missing, please create an issue on GitHub.

Download Details:
Author: h2oai
Source Code: https://github.com/h2oai/h2o-kubernetes
License: Apache-2.0 License

#rust  #rustlang  #machinelearing #mlops #kubernetes 

Deploy H2O Machine Learning Platform to Kubernetes
Brielle  Maggio

Brielle Maggio

1645506360

How to Automate Deploy Jupyter Notebooks with Github Actions

Automate Deploy Jupyter Notebooks with Github Actions | MLOps | Productionize Jupyter Notebooks


Code - https://github.com/amrrs/jupyter-automation-gh-actions

#github #githubactions #mlops #jupyter 

How to Automate Deploy Jupyter Notebooks with Github Actions
Python  Library

Python Library

1644938220

MLOpsPython: MLOps using Azure ML Services and Azure DevOps

page_typelanguagesproductsdescription
sample
python
azureazure-machine-learning-serviceazure-devops
Code which demonstrates how to set up and operationalize an MLOps flow leveraging Azure Machine Learning and Azure DevOps.

MLOps with Azure ML

MLOps will help you to understand how to build a Continuous Integration and Continuous Delivery pipeline for an ML/AI project. We will be using the Azure DevOps Project for build and release/deployment pipelines along with Azure ML services for model retraining pipeline, model management and operationalization.

ML lifecycle

This template contains code and pipeline definitions for a machine learning project that demonstrates how to automate an end to end ML/AI workflow.

Architecture and Features

Architecture Reference: Machine learning operationalization (MLOps) for Python models using Azure Machine Learning

This reference architecture shows how to implement continuous integration (CI), continuous delivery (CD), and retraining pipeline for an AI application using Azure DevOps and Azure Machine Learning. The solution is built on the scikit-learn diabetes dataset but can be easily adapted for any AI scenario and other popular build systems such as Jenkins and Travis.

The build pipelines include DevOps tasks for data sanity tests, unit tests, model training on different compute targets, model version management, model evaluation/model selection, model deployment as realtime web service, staged deployment to QA/prod and integration testing.

Prerequisite

  • Active Azure subscription
  • At least contributor access to Azure subscription

Getting Started

To deploy this solution in your subscription, follow the manual instructions in the getting started doc. Then optionally follow the guide for integrating your own code with this repository template.

Repo Details

You can find the details of the code and scripts in the repository here

References

Contributing

This project welcomes contributions and suggestions. Most contributions require you to agree to a Contributor License Agreement (CLA) declaring that you have the right to, and actually do, grant us the rights to use your contribution. For details, visit https://cla.microsoft.com.

When you submit a pull request, a CLA-bot will automatically determine whether you need to provide a CLA and decorate the PR appropriately (e.g., label, comment). Simply follow the instructions provided by the bot. You will only need to do this once across all repos using our CLA.

This project has adopted the Microsoft Open Source Code of Conduct. For more information see the Code of Conduct FAQ or contact opencode@microsoft.com with any additional questions or comments.

Download Details:
Author: 
Source Code: 
License:

#python #azure #machine-learning #devops #mlops 

MLOpsPython: MLOps using Azure ML Services and Azure DevOps
Daniel  Hughes

Daniel Hughes

1641412800

ZenML: MLOps Framework To Create Reproducible Pipelines.

👀 What is ZenML?

ZenML is an extensible, open-source MLOps framework to create production-ready machine learning pipelines. Built for data scientists, it has a simple, flexible syntax, is cloud- and tool-agnostic, and has interfaces/abstractions that are catered towards ML workflows.

At its core, ZenML pipelines execute ML-specific workflows from sourcing data to splitting, preprocessing, training, all the way to the evaluation of results and even serving. There are many built-in batteries to support common ML development tasks. ZenML is not here to replace the great tools that solve these individual problems. Rather, it integrates natively with popular ML tooling and gives standard abstraction to write your workflows.

🎉 Version 0.5.6 out now! Check out the release notes here.

PyPI - Python Version PyPI Status GitHub Codecov Interrogate Main Workflow Tests

Join our Slack Slack Community and become part of the ZenML family

Give us a Slack GitHub star to show your love

NEW: Vote Vote on the next ZenML features


 

Before and after ZenML

🤖 Why use ZenML?

ZenML pipelines are designed to be written early on the development lifecycle. Data scientists can explore their pipelines as they develop towards production, switching stacks from local to cloud deployments with ease. You can read more about why we started building ZenML on our blog. By using ZenML in the early stages of your project, you get the following benefits:

  • Reproducibility of training and inference workflows
  • A simple and clear way to represent the steps of your pipeline in code
  • Plug-and-play integrations: bring all your favorite tools together
  • Easy switching between local and cloud stacks
  • Painless deployment and configuration of infrastructure
  • Scale up your stack transparently and logically to suit your training and deployment needs

📖 Learn More

ZenML ResourcesDescription
🧘‍♀️ [ZenML 101]New to ZenML? Here's everything you need to know!
⚛️ [Core Concepts]Some key terms and concepts we use.
🗃 [Functional API Guide]Build production ML pipelines with simple functions.
🚀 [New in v0.5.6]New features, bug fixes.
🗳 [Vote for Features]Pick what we work on next!
📓 [Docs]Full documentation for creating your own ZenML pipelines.
📒 [API Reference]The detailed reference for ZenML's API.
⚽️ [Examples]Learn best through examples where ZenML is used? We've got you covered.
📬 [Blog]Use cases of ZenML and technical deep dives on how we built it.
🔈 [Podcast]Conversations with leaders in ML, released every 2 weeks.
📣 [Newsletter]We build ZenML in public. Subscribe to learn how we work.
💬 [Join Slack]Need help with your specific use case? Say hi on Slack!
🗺 [Roadmap]See where ZenML is working to build new features.
🙋‍♀️ [Contribute]How to contribute to the ZenML project and code base.

🎮 Features

1. 🗃 Use Caching across (Pipelines As) Experiments

ZenML makes sure for every pipeline you can trust that:

  • Code is versioned
  • Data is versioned
  • Models are versioned
  • Configurations are versioned

You can utilize caching to help iterate quickly through ML experiments. (Read our blogpost to learn more!)

2. ♻️ Leverage Powerful Integrations

Once code is organized into a ZenML pipeline, you can supercharge your ML development with powerful integrations on multiple MLOps stacks. There are lots of moving parts for all the MLOps tooling and infrastructure you require for ML in production and ZenML aims to bring it all together under one roof.

We currently support Airflow and Kubeflow as third-party orchestrators for your ML pipeline code. ZenML steps can be built from any of the other tools you usually use in your ML workflows, from scikit-learn to PyTorch or TensorFlow.

ZenML is the glue

3. ☁️ Scale to the Cloud

Switching from local experiments to cloud-based pipelines doesn't need to be complicated. ZenML supports running pipelines on Kubernetes clusters in the cloud through our Kubeflow integration. Switching from your local stack to a cloud stack is easy to do with our CLI tool.

4. 🧩 Visualize the Steps of your Pipeline

It’s not uncommon for pipelines to be made up of many steps, and those steps can interact and intersect with one another in often complex patterns. We’ve built a way for you to inspect what’s going on with your ZenML pipeline:

Here's what the pipeline lineage tracking visualizer looks like

5. 📊 Visualize Statistics

Now you can use awesome third-party libraries to visualize ZenML steps and artifacts. We support the facets visualization for statistics out of the box, to find data drift between your training and test sets.

We use the built-in FacetStatisticsVisualizer using the Facets Overview integration.

Here’s what the statistics visualizer looks like

6. 🧐 Introspect your Pipeline Results

Once you've run your experiment, you need a way of seeing what was produced and how it was produced. We offer a flexible interface to support post-execution workflows. This allows you to access any of the artifacts produced by pipeline steps as well as any associated metadata.

pipeline = repo.get_pipeline(pipeline_name=..., stack_key=...) # access a pipeline by name and/or stack key
runs = pipeline.runs  # all runs of a pipeline chronologically ordered
run = runs[-1]  # latest run
steps = run.steps  # all steps of a pipeline
step = steps[0] 
output = step.output
df = output.read(materializer_class=PandasMaterializer)
df.head()

7. 🛠 Configure Pipeline Runs with YAML Code

Not everyone wants to keep their configuration of pipeline runs in the same place as the active code defining steps. You can define the particular customization of runs with YAML code if that's your jam!

steps:
  step_name:
    parameters:
      parameter_name: parameter_value
      some_other_parameter_name: 2
  some_other_step_name:
    ...

🤸 Getting Started

💾 Install ZenML

Requirements: ZenML supports Python 3.6, 3.7 and 3.8.

ZenML is available for easy installation into your environment via PyPI:

pip install zenml

Alternatively, if you’re feeling brave, feel free to install the bleeding edge: NOTE: Do so on your own risk, no guarantees given!

pip install git+https://github.com/zenml-io/zenml.git@main --upgrade

🚅 Quickstart

The quickest way to get started is to create a simple pipeline.

Step 1: Initialize a ZenML repo from within a git repo

git init
zenml init
zenml integration install sklearn # we use scikit-learn for this example

Step 2: Assemble, run, and evaluate your pipeline locally

import numpy as np
from sklearn.base import ClassifierMixin

from zenml.integrations.sklearn.helpers.digits import get_digits, get_digits_model
from zenml.pipelines import pipeline
from zenml.steps import step, Output

@step
def importer() -> Output(
    X_train=np.ndarray, X_test=np.ndarray, y_train=np.ndarray, y_test=np.ndarray
):
    """Loads the digits array as normal numpy arrays."""
    X_train, X_test, y_train, y_test = get_digits()
    return X_train, X_test, y_train, y_test


@step
def trainer(
    X_train: np.ndarray,
    y_train: np.ndarray,
) -> ClassifierMixin:
    """Train a simple sklearn classifier for the digits dataset."""
    model = get_digits_model()
    model.fit(X_train, y_train)
    return model


@step
def evaluator(
    X_test: np.ndarray,
    y_test: np.ndarray,
    model: ClassifierMixin,
) -> float:
    """Calculate the accuracy on the test set"""
    test_acc = model.score(X_test, y_test)
    print(f"Test accuracy: {test_acc}")
    return test_acc


@pipeline
def mnist_pipeline(
    importer,
    trainer,
    evaluator,
):
    """Links all the steps together in a pipeline"""
    X_train, X_test, y_train, y_test = importer()
    model = trainer(X_train=X_train, y_train=y_train)
    evaluator(X_test=X_test, y_test=y_test, model=model)


pipeline = mnist_pipeline(
    importer=importer(),
    trainer=trainer(),
    evaluator=evaluator(),
)
pipeline.run()

🗺 Roadmap

ZenML is being built in public. The roadmap is a regularly updated source of truth for the ZenML community to understand where the product is going in the short, medium, and long term.

ZenML is managed by a core team of developers that are responsible for making key decisions and incorporating feedback from the community. The team oversees feedback via various channels, and you can directly influence the roadmap as follows:

🙋‍♀️ Contributing & Community

We would love to develop ZenML together with our community! Best way to get started is to select any issue from the good-first-issue label. If you would like to contribute, please review our Contributing Guide for all relevant details.


 

Repobeats analytics image

🆘 Where to get help

First point of call should be our Slack group. Ask your questions about bugs or specific use cases and someone from the core team will respond.

📜 License

ZenML is distributed under the terms of the Apache License Version 2.0. A complete version of the license is available in the LICENSE.md in this repository. Any contribution made to this project will be licensed under the Apache License Version 2.0.

Author:  zenml-io
Source Code: https://github.com/zenml-io/zenml
License: Apache-2.0 License

#mlops #python 

ZenML: MLOps Framework To Create Reproducible Pipelines.
Nabunya  Jane

Nabunya Jane

1640289600

Churn Model: MLOps Toy Example End to End

Churn Model

MLOps Toy Example End to End

You might find below links useful

  1. Connect VSCode to Git
  2. MLFlow Port
  3. Heroku App
  4. Streamlit App

Project Organization

├── LICENSE
├── Makefile           <- Makefile with commands like `make data` or `make train`
├── README.md          <- The top-level README for developers using this project.
├── data
│   ├── external       <- Data from third party sources.
│   ├── interim        <- Intermediate data that has been transformed.
│   ├── processed      <- The final, canonical data sets for modeling.
│   └── raw            <- The original, immutable data dump.
│
├── docs               <- A default Sphinx project; see sphinx-doc.org for details
│
├── models             <- Trained and serialized models, model predictions, or model summaries
│
├── notebooks          <- Jupyter notebooks. Naming convention is a number (for ordering),
│                         the creator's initials, and a short `-` delimited description, e.g.
│                         `1.0-jqp-initial-data-exploration`.
│
├── references         <- Data dictionaries, manuals, and all other explanatory materials.
│
├── reports            <- Generated analysis as HTML, PDF, LaTeX, etc.
│   └── figures        <- Generated graphics and figures to be used in reporting
│
├── requirements.txt   <- The requirements file for reproducing the analysis environment, e.g.
│                         generated with `pip freeze > requirements.txt`
│
├── setup.py           <- makes project pip installable (pip install -e .) so src can be imported
├── src                <- Source code for use in this project.
│   ├── __init__.py    <- Makes src a Python module
│   │
│   ├── data           <- Scripts to download or generate data
│   │   └── make_dataset.py
│   │
│   ├── features       <- Scripts to turn raw data into features for modeling
│   │   └── build_features.py
│   │
│   ├── models         <- Scripts to train models and then use trained models to make
│   │   │                 predictions
│   │   ├── predict_model.py
│   │   └── train_model.py
│   │
│   └── visualization  <- Scripts to create exploratory and results oriented visualizations
│       └── visualize.py
│
└── tox.ini            <- tox file with settings for running tox; see tox.readthedocs.io

Project based on the cookiecutter data science project template. #cookiecutterdatascience

The original scaffold is taken from a great article by Shanaka. A great post by him summarizing Krish Naik's youtube channel.

Author: ashishtele
Source Code: https://github.com/ashishtele/MLOps
License: MIT License

#mlops 

Churn Model: MLOps Toy Example End to End
Brooke  Giles

Brooke Giles

1638775950

Using MLOps to Bring Machine Learning Models to Production

Deploy Machine Learning Models to Production with MLOps

Learn how to use MLOps to bring Machine Learning models in production

Have you ever struggled with having different environments to build, train and serve ML models, and how to orchestrate between them? While DevOps and GitOps have made huge traction in recent years, many customers struggle to apply these practices to ML workloads. This talk will focus on the ways MLOps has helped to effectively infuse AI into production-grade applications through establishing practices around model reproducibility, validation, versioning/tracking, and safe/compliant deployment. We will also talk about the direction for MLOps as an industry, and how we can use it to move faster, with more stability, than ever before.

Slideshare: https://www.slideshare.net/weaveworks/using-mlops-to-bring-ml-to-productionthe-promise-of-mlops 

#mlops #machinelearning

Using MLOps to Bring Machine Learning Models to Production

How to Use MLOps Tools and Techniques

In this blog, I will construct our two years of research into a structured workflow that will help YOU reduce the iteration time between research and production using MLOps tools and techniques.

⭐️You can see more at the link at the end of the article. Thank you for your interest in the blog, if you find it interesting, please give me a like, comment and share to show your support for the author.

#mlops #data-science 

 

How to Use MLOps Tools and Techniques
Sofia  Maggio

Sofia Maggio

1637658000

Tecton Journey Brings Real-time Machine Learning to MLOps

👉Tecton, the enterprise feature store for machine learning (ML), has launched low-latency streaming pipelines to its feature store this week, giving its users the ability to build real-time ML applications with ultra-fresh features to the order of sub-100 milliseconds. 

⭐️You can see more at the link at the end of the article. Thank you for your interest in the blog, if you find it interesting, please give me a like, comment and share with everyone. Thanks! ❤️

#machine-learning #mlops 

Tecton Journey Brings Real-time Machine Learning to MLOps

How to Automate Web Scraping in R with Github Actions With MLOps

In this R Tutorial, We'll learn how to set up an R Script to extract Stock Market (Nifty50 Gainers) using R and automate the scheduling of job with Github Actions. Here you'll learn:
1. How to setup your Github Actions
2. Content of Github Actions Yaml File
3. Setting up a CRON Job (for the script to run on schedule everyday)

#r #github #mlops #webscraping 

How to Automate Web Scraping in R with Github Actions With MLOps

Running MLOps Pipeline in Azure DevOps In The Most Secured Way

Now, there is a defined configuration ,which you need to follow and execute to achieve MLOps pipeline running in Azure in the most secured way. Below are the steps performed on Azure from Infra and Azure DevOps perspective to create a 'Managed System Identity' (MSI) enabled MLOps pipeline.

#devops #azuredevops #mlops 

Running MLOps Pipeline in Azure DevOps In The Most Secured Way
Ssekidde  Nat

Ssekidde Nat

1635213600

Alternatives to Azure Machine Learning (AML) for MLOps

Azure Machine Learning (AML) is a cloud-based machine learning service for data scientists and ML engineers. You can use AML to manage the machine learning lifecycle—train, develop, and test models, but also run MLOps processes with speed, efficiency, and quality.

#azure #azuremachinelearning  #mlops 


 

Alternatives to Azure Machine Learning (AML) for MLOps
Haylie  Conn

Haylie Conn

1633621706

The Basics and Essentials Of Docker and Kubernetes for MLOps Engineers

I will walk through the basics and essentials of Docker and Kubernetes for MLOps engineers/Data Scientists. We will learn how to dockerize a simple ML python app and then deploy it in the Kubernetes cluster. Docker and Kubernetes is a big topic and it is very difficult to cover everything here.

#docker #kubernetes #mlops 

The Basics and Essentials Of Docker and Kubernetes for MLOps Engineers
Misael  Stark

Misael Stark

1632887044

Containerize ML Models with Docker & Automate A Pipeline With Jenkins

The purpose of this post is to provide an example of how we can use DevOps tools like Docker and Jenkins to automate a Machine Learning Pipeline. At the end of this post, you will know how to containerize a Machine Learning model with Docker and create a pipeline with Jenkins that automatically process raw data, trains a model and returns test accuracy every time we make a change in our repository.

#docker #jenkins #mlops #ml 

Containerize ML Models with Docker & Automate A Pipeline With Jenkins