John David

John David

1660812120

Machine Learning Operations (MLOps) with Flyte

Machine Learning Operations (MLOps) with Flyte. Learn how to use Flyte to development and deployment of ML models 

As the discipline of machine learning operations (MLOps) matures, it’s becoming clear that, in practice, building and deploying ML models pose additional challenges compared to the traditional software development lifecycle. The development and deployment of ML models require certain features such as reproducibility, recoverability, maintainability, audibility, scalability, and compute management, among others. Using Flyte, a data- and machine-learning-aware open source orchestration tool, we’ll see how to address these challenges and abstract them out to provide a broader understanding of how to surmount them.

In this talk, Samhita Alla: 
● Presents the challenges in the context of ML model development and deployment 
● Introduces Flyte and dive into the ways through which it provides solutions 
● Elaborates on the ML-specific features offered by Flyte 
● Does a best practices walk-through to develop models fast and productionize ML code effectively

#machinelearning #flyte 

Machine Learning Operations (MLOps) with Flyte

What is Random Forest? | Random Forest Algorithm Clearly Explained!

Random forest is a supervised machine learning algorithm. It is one of the most used algorithms due to its accuracy, simplicity, and flexibility. The fact that it can be used for classification and regression tasks, combined with its nonlinear nature, makes it highly adaptable to a range of data and situations.

Random Forest Diagram

The term “random decision forest” was first proposed in 1995 by Tin Kam Ho. Ho developed a formula to use random data to create predictions. Then in 2006, Leo Breiman and Adele Cutler extended the algorithm and created random forests as we know them today. This means this technology, and the math and science behind it, are still relatively new.

It is called a “forest” because it grows a forest of decision trees. The data from these trees are then merged together to ensure the most accurate predictions. While a solo decision tree has one outcome and a narrow range of groups, the forest assures a more accurate result with a bigger number of groups and decisions. It has the added benefit of adding randomness to the model by finding the best feature among a random subset of features. Overall, these benefits create a model that has wide diversity that many data scientists favor.

In this video, I've explained the Random Forest Algorithm with visualizations. You'll also learn why the random forest is more robust than decision trees.
Subscribe: https://www.youtube.com/c/NormalizedNerd/featured 

#machinelearning  

What is Random Forest? | Random Forest Algorithm Clearly Explained!

What is a Decision Tree | Decision Tree Classification Clearly Explained!

A decision tree is a non-parametric supervised learning algorithm, which is utilized for both classification and regression tasks. It has a hierarchical, tree structure, which consists of a root node, branches, internal nodes and leaf nodes.

Model of a decision tree

As you can see from the diagram above, a decision tree starts with a root node, which does not have any incoming branches. The outgoing branches from the root node then feed into the internal nodes, also known as decision nodes. Based on the available features, both node types conduct evaluations to form homogenous subsets, which are denoted by leaf nodes, or terminal nodes. The leaf nodes represent all the possible outcomes within the dataset. As an example, let’s imagine that you were trying to assess whether or not you should go surf, you may use the following decision rules to make a choice:

Example of a decision tree

This type of flowchart structure also creates an easy to digest representation of decision-making, allowing different groups across an organization to better understand why a decision was made.

Decision tree learning employs a divide and conquer strategy by conducting a greedy search to identify the optimal split points within a tree. This process of splitting is then repeated in a top-down, recursive manner until all, or the majority of records have been classified under specific class labels. Whether or not all data points are classified as homogenous sets is largely dependent on the complexity of the decision tree. Smaller trees are more easily able to attain pure leaf nodes—i.e. data points in a single class. However, as a tree grows in size, it becomes increasingly difficult to maintain this purity, and it usually results in too little data falling within a given subtree. When this occurs, it is known as data fragmentation, and it can often lead to overfitting. As a result, decision trees have preference for small trees, which is consistent with the principle of parsimony in Occam’s Razor; that is, “entities should not be multiplied beyond necessity.” Said differently, decision trees should add complexity only if necessary, as the simplest explanation is often the best. To reduce complexity and prevent overfitting, pruning is usually employed; this is a process, which removes branches that split on features with low importance. The model’s fit can then be evaluated through the process of cross-validation. Another way that decision trees can maintain their accuracy is by forming an ensemble via a random forest algorithm; this classifier predicts more accurate results, particularly when the individual trees are uncorrelated with each other.

In this video, I've explained Decision Trees in great detail. You'll also learn the math behind splitting the nodes. 

Subscribe: https://www.youtube.com/c/NormalizedNerd/featured 

#machinelearning #maths #mathematics  

What is a Decision Tree | Decision Tree Classification Clearly Explained!
Gordon  Taylor

Gordon Taylor

1660693860

Whereami.js: Node.js Module to Predict indoor Location

whereami.js

(Side project not intended to be used in production applications)

Node.js module to predict indoor location using machine learning and wifi information.

Inspired by the Python module whereami by kootenpv

Built using node-wifi and random-forest-classifier

How to use

Install

npm install whereami.js

Record data

In each room you'd like to use, record data by using the command whereamijs learn <room>.

Example:

whereamijs learn kitchen // or -l kitchen

The output of running this command will be a JSON file saved in a whereamijs-data folder with the wifi info.

This command takes a few seconds to get wifi data and save it

Predict

After recording training data with the learn command, run the predict command to get the room predicted from live data.

whereamijs predict // or -p

List rooms

You can list the rooms you already have data for, using the rooms or -r command.

whereamijs rooms // or -r

Applications

Here are some ideas of what it could be used for:

  • IoT: Turn on/off lights based on which room you're in.
  • Pause TV when leaving a room.
  • Block notifications when in the bedroom.

Run/develop locally

Clone this repo, cd into it and run node server.js learn <room> or node.js server predict.

Download Details:

Author: Charliegerard
Source Code: https://github.com/charliegerard/whereami.js 
License: GPL-3.0 license

#javascript #node #machinelearning 

Whereami.js: Node.js Module to Predict indoor Location
Hunter  Krajcik

Hunter Krajcik

1660515660

The Easy Way to Use ML Kit for Generating Smart Replies in Flutter

ML Smart Reply

The easy way to use ML Kit for generating smart replies in Flutter.

With ML Kit's Smart Reply, you can automatically generate relevant replies to messages. Smart Reply helps your users respond to messages quickly, and makes it easier to reply to messages on devices with limited input capabilities.

Getting Started

Add dependency to your flutter project:

$ flutter pub add learning_smart_reply

or

dependencies:
  learning_smart_reply: ^0.0.2

Then run flutter pub get.

Usage

import 'package:learning_smart_reply/learning_smart_reply.dart';

Generating Smart Replies

We can generate smart replies by feeding chat message history to SmartReplyGenerator.

SmartReplyGenerator smartReply = SmartReplyGenerator();

Uuid uuid = Uuid();
String userId = uuid.v4();
int now = DateTime.now().millisecondsSinceEpoch;

List<Message> history = [
  Message('Hi', user: userId, timestamp: now - (60*60*1000)),
  Message('How are you?', timestamp: now - (20*60*1000)),
  Message('I am fine. Thanks.', user: userId, timestamp: now - (10*60*1000)),
];

List result = await _smartReply.generateReplies(history);

print('Result:');
print(result);

Dispose

smartReply.dispose();

Example Project

You can learn more from example project here.

Use this package as a library

Depend on it

Run this command:

With Flutter:

 $ flutter pub add learning_smart_reply

This will add a line like this to your package's pubspec.yaml (and run an implicit flutter pub get):

dependencies:
  learning_smart_reply: ^0.0.3

Alternatively, your editor might support flutter pub get. Check the docs for your editor to learn more.

Import it

Now in your Dart code, you can use:

import 'package:learning_smart_reply/learning_smart_reply.dart';

example/lib/main.dart

import 'package:flutter/material.dart';
import 'package:learning_smart_reply/learning_smart_reply.dart';
import 'package:uuid/uuid.dart';

void main() {
  runApp(MyApp());
}

class MyApp extends StatelessWidget {
  @override
  Widget build(BuildContext context) {
    return MaterialApp(
      debugShowCheckedModeBanner: false,
      theme: ThemeData(
        primarySwatch: Colors.lightBlue,
        visualDensity: VisualDensity.adaptivePlatformDensity,
        primaryTextTheme: TextTheme(headline6: TextStyle(color: Colors.white)),
      ),
      home: SmartReplyPage(),
    );
  }
}

class SmartReplyPage extends StatefulWidget {
  @override
  _SmartReplyPageState createState() => _SmartReplyPageState();
}

class _SmartReplyPageState extends State<SmartReplyPage> {
  SmartReplyGenerator _smartReply = SmartReplyGenerator();

  @override
  void initState() {
    super.initState();
    WidgetsBinding.instance?.addPostFrameCallback((_) async {
      await testSmartReply();
    });
  }

  @override
  void dispose() {
    _smartReply.dispose();
    super.dispose();
  }

  Future<void> testSmartReply() async {
    print('testSmartReply...');
    Uuid uuid = Uuid();
    String userId = uuid.v4();
    int now = DateTime.now().millisecondsSinceEpoch;

    List<Message> history = [
      Message('Hi', user: userId, timestamp: now - (60 * 60 * 1000)),
      Message('How are you?', timestamp: now - (20 * 60 * 1000)),
      Message('I am fine. Thanks.',
          user: userId, timestamp: now - (10 * 60 * 1000)),
    ];

    _smartReply = SmartReplyGenerator();
    var result = await _smartReply.generateReplies(history);
    print('testSmartReply Result:');
    print(result);
  }

  @override
  Widget build(BuildContext context) {
    return MaterialApp(
      debugShowCheckedModeBanner: false,
      theme: ThemeData(
        primarySwatch: Colors.lightBlue,
        visualDensity: VisualDensity.adaptivePlatformDensity,
        primaryTextTheme: TextTheme(headline6: TextStyle(color: Colors.white)),
      ),
      home: Scaffold(
        appBar: AppBar(
          centerTitle: true,
          title: Text('Smart Reply'),
        ),
        body: Container(),
      ),
    );
  }
}

Download Details:

Author: Salkuadrat
Source Code: https://github.com/salkuadrat/learning 
License: MIT license

#flutter #dart #ml #machinelearning 

The Easy Way to Use ML Kit for Generating Smart Replies in Flutter

Build a Machine Learning API with Python, FastAPI and Scikit-Learn

Learn how to build a machine learning API at freaking light speed using Python, FastAPI and Scikit-Learn AND DEPLOY it using Heroku. Hope y'all enjoy it.

Subscribe: https://www.youtube.com/c/NicholasRenotte/featured 
 

#machinelearning   #api  #fastapi 

Build a Machine Learning API with Python, FastAPI and Scikit-Learn
Nat  Grady

Nat Grady

1660366620

Mlr3: Machine Learning in R - Next Generation

mlr3 

Efficient, object-oriented programming on the building blocks of machine learning. Successor of mlr.   

Resources (for users and developers)

Installation

Install the last release from CRAN:

install.packages("mlr3")

Install the development version from GitHub:

remotes::install_github("mlr-org/mlr3")

If you want to get started with mlr3, we recommend installing the mlr3verse meta-package which installs mlr3 and some of the most important extension packages:

install.packages("mlr3verse")

Example

Constructing Learners and Tasks

library(mlr3)

# create learning task
task_penguins = as_task_classif(species ~ ., data = palmerpenguins::penguins)
task_penguins
## <TaskClassif:palmerpenguins::penguins> (344 x 8)
## * Target: species
## * Properties: multiclass
## * Features (7):
##   - int (3): body_mass_g, flipper_length_mm, year
##   - dbl (2): bill_depth_mm, bill_length_mm
##   - fct (2): island, sex
# load learner and set hyperparameter
learner = lrn("classif.rpart", cp = .01)

Basic train + predict

# train/test split
split = partition(task_penguins, ratio = 0.67)

# train the model
learner$train(task_penguins, split$train_set)

# predict data
prediction = learner$predict(task_penguins, split$test_set)

# calculate performance
prediction$confusion
##            truth
## response    Adelie Chinstrap Gentoo
##   Adelie       146         5      0
##   Chinstrap      6        63      1
##   Gentoo         0         0    123
measure = msr("classif.acc")
prediction$score(measure)
## classif.acc 
##   0.9651163

Resample

# 3-fold cross validation
resampling = rsmp("cv", folds = 3L)

# run experiments
rr = resample(task_penguins, learner, resampling)

# access results
rr$score(measure)[, .(task_id, learner_id, iteration, classif.acc)]
##                     task_id    learner_id iteration classif.acc
## 1: palmerpenguins::penguins classif.rpart         1   0.9391304
## 2: palmerpenguins::penguins classif.rpart         2   0.9478261
## 3: palmerpenguins::penguins classif.rpart         3   0.9298246
rr$aggregate(measure)
## classif.acc 
##    0.938927

Extension Packages

Consult the wiki for short descriptions and links to the respective repositories.

For beginners, we strongly recommend to install and load the mlr3verse package for a better user experience.

Why a rewrite?

mlr was first released to CRAN in 2013. Its core design and architecture date back even further. The addition of many features has led to a feature creep which makes mlr hard to maintain and hard to extend. We also think that while mlr was nicely extensible in some parts (learners, measures, etc.), other parts were less easy to extend from the outside. Also, many helpful R libraries did not exist at the time mlr was created, and their inclusion would result in non-trivial API changes.

Design principles

  • Only the basic building blocks for machine learning are implemented in this package.
  • Focus on computation here. No visualization or other stuff. That can go in extra packages.
  • Overcome the limitations of R’s S3 classes with the help of R6.
  • Embrace R6 for a clean OO-design, object state-changes and reference semantics. This might be less “traditional R”, but seems to fit mlr nicely.
  • Embrace data.table for fast and convenient data frame computations.
  • Combine data.table and R6, for this we will make heavy use of list columns in data.tables.
  • Defensive programming and type safety. All user input is checked with checkmate. Return types are documented, and mechanisms popular in base R which “simplify” the result unpredictably (e.g., sapply() or drop argument in [.data.frame) are avoided.
  • Be light on dependencies. mlr3 requires the following packages at runtime:
    • parallelly: Helper functions for parallelization. No extra recursive dependencies.
    • future.apply: Resampling and benchmarking is parallelized with the future abstraction interfacing many parallel backends.
    • backports: Ensures backward compatibility with older R releases. Developed by members of the mlr team. No recursive dependencies.
    • checkmate: Fast argument checks. Developed by members of the mlr team. No extra recursive dependencies.
    • mlr3misc: Miscellaneous functions used in multiple mlr3 extension packages. Developed by the mlr team.
    • paradox: Descriptions for parameters and parameter sets. Developed by the mlr team. No extra recursive dependencies.
    • R6: Reference class objects. No recursive dependencies.
    • data.table: Extension of R’s data.frame. No recursive dependencies.
    • digest (via mlr3misc): Hash digests. No recursive dependencies.
    • uuid: Create unique string identifiers. No recursive dependencies.
    • lgr: Logging facility. No extra recursive dependencies.
    • mlr3measures: Performance measures. No extra recursive dependencies.
    • mlbench: A collection of machine learning data sets. No dependencies.
    • palmerpenguins: A classification data set about penguins, used on examples and provided as a toy task. No dependencies.
  • Reflections: Objects are queryable for properties and capabilities, allowing you to program on them.
  • Additional functionality that comes with extra dependencies:
    • To capture output, warnings and exceptions, evaluate and callr can be used.

Contributing to mlr3

This R package is licensed under the LGPL-3. If you encounter problems using this software (lack of documentation, misleading or wrong documentation, unexpected behavior, bugs, …) or just want to suggest features, please open an issue in the issue tracker. Pull requests are welcome and will be included at the discretion of the maintainers.

Please consult the wiki for a style guide, a roxygen guide and a pull request guide.

Citing mlr3

If you use mlr3, please cite our JOSS article:

@Article{mlr3,
  title = {{mlr3}: A modern object-oriented machine learning framework in {R}},
  author = {Michel Lang and Martin Binder and Jakob Richter and Patrick Schratz and Florian Pfisterer and Stefan Coors and Quay Au and Giuseppe Casalicchio and Lars Kotthoff and Bernd Bischl},
  journal = {Journal of Open Source Software},
  year = {2019},
  month = {dec},
  doi = {10.21105/joss.01903},
  url = {https://joss.theoj.org/papers/10.21105/joss.01903},
}

Package website: release | dev

Download Details:

Author: Mlr-org
Source Code: https://github.com/mlr-org/mlr3 
License: LGPL-3.0 license

#r #datascience #machinelearning 

Mlr3: Machine Learning in R - Next Generation
Nat  Grady

Nat Grady

1660362720

Mlr: Machine Learning in R

mlr 

Machine learning in R.    

Deprecated

{mlr} is considered retired from the mlr-org team. We won't add new features anymore and will only fix severe bugs. We suggest to use the new mlr3 framework from now on and for future projects.

Not all features of {mlr} are already implemented in {mlr3}. If you are missing a crucial feature, please open an issue in the respective mlr3 extension package and do not hesitate to follow-up on it.

Installation

Release

install.packages("mlr")

Development

remotes::install_github("mlr-org/mlr")

Citing {mlr} in publications

Please cite our JMLR paper [bibtex].

Some parts of the package were created as part of other publications. If you use these parts, please cite the relevant work appropriately. An overview of all {mlr} related publications can be found here.

Introduction

R does not define a standardized interface for its machine-learning algorithms. Therefore, for any non-trivial experiments, you need to write lengthy, tedious and error-prone wrappers to call the different algorithms and unify their respective output.

Additionally you need to implement infrastructure to

  • resample your models
  • optimize hyperparameters
  • select features
  • cope with pre- and post-processing of data and compare models in a statistically meaningful way.

As this becomes computationally expensive, you might want to parallelize your experiments as well. This often forces users to make crummy trade-offs in their experiments due to time constraints or lacking expert programming skills.

{mlr} provides this infrastructure so that you can focus on your experiments! The framework provides supervised methods like classification, regression and survival analysis along with their corresponding evaluation and optimization methods, as well as unsupervised methods like clustering. It is written in a way that you can extend it yourself or deviate from the implemented convenience methods and construct your own complex experiments or algorithms.

Furthermore, the package is nicely connected to the OpenML R package and its online platform, which aims at supporting collaborative machine learning online and allows to easily share datasets as well as machine learning tasks, algorithms and experiments in order to support reproducible research.

Features

  • Clear S3 interface to R classification, regression, clustering and survival analysis methods
  • Abstract description of learners and tasks by properties
  • Convenience methods and generic building blocks for your machine learning experiments
  • Resampling methods like bootstrapping, cross-validation and subsampling
  • Extensive visualizations (e.g. ROC curves, predictions and partial predictions)
  • Simplified benchmarking across data sets and learners
  • Easy hyperparameter tuning using different optimization strategies, including potent configurators like
    • iterated F-racing (irace)
    • sequential model-based optimization
  • Variable selection with filters and wrappers
  • Nested resampling of models with tuning and feature selection
  • Cost-sensitive learning, threshold tuning and imbalance correction
  • Wrapper mechanism to extend learner functionality in complex ways
  • Possibility to combine different processing steps to a complex data mining chain that can be jointly optimized
  • OpenML connector for the Open Machine Learning server
  • Built-in parallelization
  • Detailed tutorial

Miscellaneous

Simple usage questions are better suited at Stackoverflow using the mlr tag.

Please note that all of us work in academia and put a lot of work into this project - simply because we like it, not because we are paid for it.

New development efforts should go into {mlr3}. We have a own style guide which can easily applied by using the mlr_style from the styler package. See our wiki for more information.

Talks, Workshops, etc.

mlr-outreach holds all outreach activities related to {mlr} and {mlr3}.

Package website: release | dev

CRAN release site

Online tutorial

Changelog

Stackoverflow: #mlr

Mattermost

Blog

Download Details:

Author: mlr-org
Source Code: https://github.com/mlr-org/mlr 
License: View license

#r #datascience #machinelearning 

Mlr: Machine Learning in R
Nat  Grady

Nat Grady

1660358820

ML_for_Hackers: Code for Machine Learning for Hackers

Code for Machine Learning for Hackers

This repository contains all of the code examples for Machine Learning for Hackers (2012). The code may not appear exactly as it does in the text, as additional comments and modifications may have been added since publication.

Getting started

The code in this book relies on several R libraries. Two libraries, RCurl and XML require additional software to be installed:

To make sure you have all of the requite libraries run the package_installer.R script. In your R console type the following:

> source("package_installer.R")

When running the installer inside R you will be asked where to save the library files. If you'd like to install the libraries globally, you can run script at the command-line with admin privileges:

$ sudo RScript package_installer.R

Authors

Download Details:

Author: johnmyleswhite
Source Code: https://github.com/johnmyleswhite/ML_for_Hackers 

#r #machinelearning 

ML_for_Hackers: Code for Machine Learning for Hackers
Noah Saunders

Noah Saunders

1660357437

Stable Diffusion: A Latent Text-to-image Diffusion Model

In this tutorial, we'll learn about Stable Diffusion, a latent text-to-image diffusion model. Stable Diffusion was made possible thanks to a collaboration with Stability AI

Stable Diffusion

Stable Diffusion was made possible thanks to a collaboration with Stability AI and Runway and builds upon our previous work:

High-Resolution Image Synthesis with Latent Diffusion Models
Robin Rombach*, Andreas Blattmann*, Dominik Lorenz, Patrick Esser, Björn Ommer
 

which is available on GitHub.

txt2img-stable2

Stable Diffusion is a latent text-to-image diffusion model. Thanks to a generous compute donation from Stability AI and support from LAION, we were able to train a Latent Diffusion Model on 512x512 images from a subset of the LAION-5B database. Similar to Google's Imagen, this model uses a frozen CLIP ViT-L/14 text encoder to condition the model on text prompts. With its 860M UNet and 123M text encoder, the model is relatively lightweight and runs on a GPU with at least 10GB VRAM. See this section below and the model card.

Requirements

A suitable conda environment named ldm can be created and activated with:

conda env create -f environment.yaml
conda activate ldm

You can also update an existing latent diffusion environment by running

conda install pytorch torchvision -c pytorch
pip install transformers==4.19.2
pip install -e .

Stable Diffusion v1

Stable Diffusion v1 refers to a specific configuration of the model architecture that uses a downsampling-factor 8 autoencoder with an 860M UNet and CLIP ViT-L/14 text encoder for the diffusion model. The model was pretrained on 256x256 images and then finetuned on 512x512 images.

Note: Stable Diffusion v1 is a general text-to-image diffusion model and therefore mirrors biases and (mis-)conceptions that are present in its training data. Details on the training procedure and data, as well as the intended use of the model can be found in the corresponding model card. Research into the safe deployment of general text-to-image models is an ongoing effort. To prevent misuse and harm, we currently provide access to the checkpoints only for academic research purposes upon request. This is an experiment in safe and community-driven publication of a capable and general text-to-image model. We are working on a public release with a more permissive license that also incorporates ethical considerations.

Request access to Stable Diffusion v1 checkpoints for academic research

Weights

We currently provide three checkpoints, sd-v1-1.ckpt, sd-v1-2.ckpt and sd-v1-3.ckpt, which were trained as follows,

  • sd-v1-1.ckpt: 237k steps at resolution 256x256 on laion2B-en. 194k steps at resolution 512x512 on laion-high-resolution (170M examples from LAION-5B with resolution >= 1024x1024).
  • sd-v1-2.ckpt: Resumed from sd-v1-1.ckpt. 515k steps at resolution 512x512 on "laion-improved-aesthetics" (a subset of laion2B-en, filtered to images with an original size >= 512x512, estimated aesthetics score > 5.0, and an estimated watermark probability < 0.5. The watermark estimate is from the LAION-5B metadata, the aesthetics score is estimated using an improved aesthetics estimator).
  • sd-v1-3.ckpt: Resumed from sd-v1-2.ckpt. 195k steps at resolution 512x512 on "laion-improved-aesthetics" and 10% dropping of the text-conditioning to improve classifier-free guidance sampling.

Evaluations with different classifier-free guidance scales (1.5, 2.0, 3.0, 4.0, 5.0, 6.0, 7.0, 8.0) and 50 PLMS sampling steps show the relative improvements of the checkpoints: 

sd evaluation results

Text-to-Image with Stable Diffusion

 txt2img-stable2

txt2img-stable2

Stable Diffusion is a latent diffusion model conditioned on the (non-pooled) text embeddings of a CLIP ViT-L/14 text encoder.

After obtaining the weights, link them

mkdir -p models/ldm/stable-diffusion-v1/
ln -s <path/to/model.ckpt> models/ldm/stable-diffusion-v1/model.ckpt 

and sample with

python scripts/txt2img.py --prompt "a photograph of an astronaut riding a horse" --plms 

By default, this uses a guidance scale of --scale 7.5, Katherine Crowson's implementation of the PLMS sampler, and renders images of size 512x512 (which it was trained on) in 50 steps. All supported arguments are listed below (type python scripts/txt2img.py --help).

usage: txt2img.py [-h] [--prompt [PROMPT]] [--outdir [OUTDIR]] [--skip_grid] [--skip_save] [--ddim_steps DDIM_STEPS] [--plms] [--laion400m] [--fixed_code] [--ddim_eta DDIM_ETA] [--n_iter N_ITER] [--H H] [--W W] [--C C] [--f F] [--n_samples N_SAMPLES] [--n_rows N_ROWS]
                  [--scale SCALE] [--from-file FROM_FILE] [--config CONFIG] [--ckpt CKPT] [--seed SEED] [--precision {full,autocast}]

optional arguments:
  -h, --help            show this help message and exit
  --prompt [PROMPT]     the prompt to render
  --outdir [OUTDIR]     dir to write results to
  --skip_grid           do not save a grid, only individual samples. Helpful when evaluating lots of samples
  --skip_save           do not save individual samples. For speed measurements.
  --ddim_steps DDIM_STEPS
                        number of ddim sampling steps
  --plms                use plms sampling
  --laion400m           uses the LAION400M model
  --fixed_code          if enabled, uses the same starting code across samples
  --ddim_eta DDIM_ETA   ddim eta (eta=0.0 corresponds to deterministic sampling
  --n_iter N_ITER       sample this often
  --H H                 image height, in pixel space
  --W W                 image width, in pixel space
  --C C                 latent channels
  --f F                 downsampling factor
  --n_samples N_SAMPLES
                        how many samples to produce for each given prompt. A.k.a. batch size
  --n_rows N_ROWS       rows in the grid (default: n_samples)
  --scale SCALE         unconditional guidance scale: eps = eps(x, empty) + scale * (eps(x, cond) - eps(x, empty))
  --from-file FROM_FILE
                        if specified, load prompts from this file
  --config CONFIG       path to config which constructs model
  --ckpt CKPT           path to checkpoint of model
  --seed SEED           the seed (for reproducible sampling)
  --precision {full,autocast}
                        evaluate at this precision

Note: The inference config for all v1 versions is designed to be used with EMA-only checkpoints. For this reason use_ema=False is set in the configuration, otherwise the code will try to switch from non-EMA to EMA weights. If you want to examine the effect of EMA vs no EMA, we provide "full" checkpoints which contain both types of weights. For these, use_ema=False will load and use the non-EMA weights.

Image Modification with Stable Diffusion

By using a diffusion-denoising mechanism as first proposed by SDEdit, the model can be used for different tasks such as text-guided image-to-image translation and upscaling. Similar to the txt2img sampling script, we provide a script to perform image modification with Stable Diffusion.

The following describes an example where a rough sketch made in Pinta is converted into a detailed artwork.

python scripts/img2img.py --prompt "A fantasy landscape, trending on artstation" --init-img <path-to-img.jpg> --strength 0.8

Here, strength is a value between 0.0 and 1.0, that controls the amount of noise that is added to the input image. Values that approach 1.0 allow for lots of variations but will also produce images that are not semantically consistent with the input. See the following example.

Input

sketch-in

Outputs

out3
out2

This procedure can, for example, also be used to upscale samples from the base model.

Comments

Our codebase for the diffusion models builds heavily on OpenAI's ADM codebase and https://github.com/lucidrains/denoising-diffusion-pytorch. Thanks for open-sourcing!

The implementation of the transformer encoder is from x-transformers by lucidrains.

BibTeX

@misc{rombach2021highresolution,
      title={High-Resolution Image Synthesis with Latent Diffusion Models}, 
      author={Robin Rombach and Andreas Blattmann and Dominik Lorenz and Patrick Esser and Björn Ommer},
      year={2021},
      eprint={2112.10752},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Download Details: 
Author: CompVis
Source Code: https://github.com/CompVis/stable-diffusion 

#jupyternotebook #datascience #machinelearning 

Stable Diffusion: A Latent Text-to-image Diffusion Model

Educational Material and Tutorials for The Turing Language

Turing Tutorials 

This repository contains tutorials on the universal probabilistic programming language Turing.

The tutorials are defined in the tutorials folder. All the outputs are generated automatically from that.

Additional educational materials can be found at StatisticalRethinkingJulia/TuringModels.jl, which contains Turing adaptations of models from Richard McElreath's Statistical Rethinking. It is a highly recommended resource if you are looking for a greater breadth of examples.

Interactive Notebooks

To run the tutorials interactively via Jupyter notebooks, install the package and open the tutorials like:

# Install TuringTutorials
using Pkg
pkg"add https://github.com/TuringLang/TuringTutorials"

# Generate notebooks in subdirectory "notebook"
using TuringTutorials
TuringTutorials.weave(; build=(:notebook,))

# Start Jupyter in "notebook" subdirectory
using IJulia
IJulia.notebook(; dir="notebook")

You can weave the notebooks to a different folder with

TuringTutorials.weave(; build=(:notebook,), out_path_root="my/custom/directory")

Then the notebooks will be generated in the folder my/custom/directory/notebook and you can start Jupyter with

IJulia.notebook(; dir="my/custom/directory/notebook")

Contributing

First of all, make sure that your current directory is TuringTutorials. All of the files are generated from the jmd files in the tutorials folder. So to change a tutorial, change one of the .jmd file in the tutorials folder.

To run the generation process, do for example:

using TuringTutorials
TuringTutorials.weave("00-introduction", "00_introduction.jmd")

To generate all files do:

TuringTutorials.weave()

If you add new tutorials which require new packages, simply updating your local environment will change the project and manifest files. When this occurs, the updated environment files should be included in the PR.

Credits

The structure of this repository is mainly based on SciMLTutorials.jl.

Download Details:

Author: TuringLang
Source Code: https://github.com/TuringLang/TuringTutorials 
License: MIT license

#julia #machinelearning #language 

Educational Material and Tutorials for The Turing Language
Anne  de Morel

Anne de Morel

1660073400

Applications d'EdgeML

EdgeML  est une technologie qui permet aux appareils intelligents de traiter les données localement (via des serveurs locaux ou au niveau de l'appareil), en tirant parti des algorithmes d'apprentissage automatique et en profondeur, réduisant ainsi la dépendance aux réseaux cloud. Le terme edge fait référence au traitement au niveau de l'appareil ou au niveau local (et au plus près des composants collectant les données) par des algorithmes d'apprentissage profond et automatique.

Edge ML est révolutionnaire. Il répond aux problèmes de sécurité liés au stockage des informations personnelles des utilisateurs dans le Cloud et réduit la charge sur les réseaux Cloud en traitant les données localement. Cela aide également au traitement des données en temps réel, ce qui est actuellement impossible avec les appareils intelligents typiques fonctionnant dans le cloud, mais qui est important pour les technologies telles que les véhicules sans conducteur et les équipements médicaux. Dans cet article, nous examinerons certaines applications d'apprentissage automatique à la périphérie, alors allons-y.

Applications d'EdgeML

1. Soins de santé :  les maladies chroniques peuvent être suivies avec des moniteurs de santé et d'autres appareils portables. En cas d'urgence médicale, il est impératif d'accéder rapidement aux antécédents médicaux. Les résultats pourraient être fatals si ces appareils s'appuient sur le transfert de données vers le cloud avant de prendre des décisions. Pour contourner cela, EdgeML aide à l'évaluation instantanée et en temps opportun de données complexes qui nécessitent une attention immédiate des médecins pour améliorer les soins aux patients et éliminer d'autres risques potentiels liés à la santé. De plus, les gardiens peuvent être avertis dans un tel scénario.

Une illustration de l'IA/ML à la pointe dans un environnement de soins de santé doté de l'IoT.

2. Assistant virtuel :  les gadgets à commande vocale ne capturent pas constamment l'audio et ne l'envoient pas dans le cloud pour vérifier s'ils reçoivent des instructions. Les interfaces vocales d'aujourd'hui utilisent souvent la détection de mot-clé ou de « mot de réveil ». EdgeML peut aider à traiter rapidement les signaux du microphone pendant que le reste du système reste inactif. Cette approche économe en énergie est particulièrement cruciale pour prolonger la durée d'utilisation des appareils portables alimentés par batterie tels que les smartphones et les appareils portables.

De plus, la technologie EdgeML peut aider à séparer la voix de l'utilisateur des autres sons de l'environnement. Par exemple, les techniques de formation de faisceaux traitent l'audio de plusieurs microphones dans l'appareil pour concentrer l'écoute dans la direction à partir de laquelle l'utilisateur parle - comme un microphone directionnel virtuel.

Un guide complet sur la façon de changer le mot de réveil Alexa pour les appareils Amazon Echo

3. Surveillance de la sécurité dans les installations pétrolières et gazières : la plupart des installations liées au pétrole et au gaz sont situées à distance avec une mauvaise connectivité. La localisation des capteurs et edgeML sur ou à proximité de ces systèmes permet une connectivité améliorée et une surveillance constante. EdgeML peut également analyser les problèmes d'équipement en temps réel, ce qui facilite la maintenance prédictive. Les capteurs peuvent surveiller l'humidité, la température et l'énergie générée par tous les équipements, y compris les véhicules électriques et les systèmes de parcs éoliens, et les données recueillies peuvent être analysées plus en détail à l'aide d'EdgeML. Le résultat résultant pourrait être de gérer le réseau énergétique pour aider à la réduction des coûts et à la création d'énergie efficace.

solutions vidéo basées sur le cloud pour la surveillance des puits de pétrole

4. Détection des intrusions sur le réseau : en raison de l'augmentation significative des vulnérabilités potentielles ou des canaux d'attaque au sein d'un réseau, la cybersécurité est une préoccupation majeure pour de nombreuses entreprises. Le déploiement de techniques ML à la périphérie du réseau suggère que les logiciels et dispositifs de sécurité réseau peuvent augmenter constamment. Les techniques de ML peuvent être utilisées pour identifier les menaces avec une amélioration continue en simulant différents types de cyberattaques. Dans des situations critiques, le temps gagné en éliminant les serveurs cloud pourrait être inestimable.

Intrusion réseau - Détection et prévention

5. Détection de l'activité des appareils IoT :  avec la croissance rapide de l'Internet des objets et des appareils connectés, l'intérêt pour les applications et les appareils portables de santé et de fitness a augmenté. Ces applications obtiennent généralement des informations à partir des gyroscopes et des accéléromètres présents dans de nombreux smartphones actuels. Cependant, à mesure que la quantité de données personnelles collectées et communiquées par ces applications augmente, les inquiétudes concernant la confidentialité personnelle et les transferts de données sécurisés augmentent également. L'apprentissage automatique sur les appareils périphériques, comme les smartphones, permet d'apprendre des modèles sécurisés directement sur les appareils, éliminant ainsi le besoin d'envoyer des données vers le cloud ou de les externaliser.

Vivre à la périphérie : qu'est-ce que l'informatique de périphérie et pourquoi en avons-nous besoin ?  - Blog WeAreBrain

6. Prédiction des évaluations des produits : les algorithmes ML sont largement utilisés dans des domaines tels que l'analyse des sentiments des consommateurs pour prédire les évaluations des produits en fonction des avis rédigés par les clients. Les données textuelles des avis sont examinées sous forme de séquence de mots avant que l'apprentissage automatique en périphérie n'identifie les séquences de mots pertinentes et ne fournisse des informations. Tout point de vente en ligne essayant de capitaliser sur une base de consommateurs pour prédire les évaluations des produits peut tirer parti des informations obtenues.

Écrit dans les étoiles : mise en œuvre d'un système de notation des produits

7. Véhicules autonomes :  Tout piéton qui traverse devant un véhicule autonome doit être arrêté à temps pour éviter tout incident malheureux. Prendre cette décision en fonction du serveur distant n'est pas fiable et injuste. De plus, les véhicules qui utilisent la technologie de pointe peuvent interagir plus efficacement puisqu'ils peuvent d'abord communiquer entre eux, plutôt que d'envoyer des données sur les accidents, la météo, le trafic ou les déviations vers un serveur distant.

8. Gestion de l'environnement et de la faune : EdgeML peut être utilisé pour prédire et optimiser la sélection d'espèces d'arbres à des fins de reboisement à l'aide de données cartographiques. La meilleure espèce est ensuite déduite en fonction de variables telles que l'altitude, l'exposition, le type de sol et l'humidité; des efforts de reboisement automatique pourraient donc être faits.

Perspectives de l'apprentissage automatique pour la conservation de la faune |  Communication Nature

9. Agriculture : Les données relatives à la température ambiante, au niveau d'humidité du sol et à d'autres variables peuvent être recueillies à l'aide de capteurs. De plus, ces données de capteur peuvent être analysées à l'aide de solutions EdgeML pour analyser la densité des nutriments et la consommation d'eau afin d'optimiser et d'augmenter la récolte.

Cas d'utilisation de l'agriculture et applications d'apprentissage automatique - Analyse de données

10. Construction : EdgeML peut être utilisé dans le secteur de la construction. Les données des équipements de sécurité, des caméras, des capteurs, etc. peuvent être collectées et analysées pour augmenter la sécurité du travailleur. De plus, il donne un aperçu des conditions de sécurité au travail et garantit que les travailleurs respectent les règles de sécurité.

6 applications étonnantes de l'intelligence artificielle dans la construction intelligente

11. Fabrication : Les capteurs environnementaux, l'apprentissage automatique et l'analyse en temps réel peuvent surveiller les processus industriels pour améliorer la qualité des produits et détecter les erreurs de production. Il fournit également des informations sur les composants disponibles et leur durée de vie, aidant le producteur à prendre des décisions opérationnelles et d'installation plus précises et plus rapides .

Avantages révolutionnaires de l'apprentissage automatique pour la fabrication

12. Surveillance de la santé des composants : dans divers secteurs tels que l'énergie, l'industrie, le résidentiel, la santé, etc. EdgeML, en conjonction avec d'autres capteurs, peut être utilisé pour surveiller la santé des composants et alerter les spécialistes lorsqu'une réparation est nécessaire. Par conséquent, cela peut aider à retarder ou à éviter les situations de panne/fusion de la machine et à augmenter la durée de vie de la machine.

3 raisons pour lesquelles la surveillance des machines est une priorité - IndMacDig |  Recueil de machines industrielles

13. Publicité :  le marketing et l'information ciblés pour les entreprises de vente au détail reposent sur des aspects critiques définis dans l'équipement sur le terrain, comme les données démographiques. Compte tenu de cela, EdgeML peut aider à protéger la confidentialité des utilisateurs. Plutôt que d'envoyer des données non protégées dans le cloud, il peut chiffrer les données et conserver la source.

La dynamique évolue-t-elle vers une interdiction de la publicité comportementale ?  – Le balisage

14. Développement de systèmes basés sur Edge ML dans les hôpitaux et les résidences-services : l'utilisation d'EdgeML conjointement avec les données recueillies à partir de capteurs portables et environnementaux peut aider à surveiller la fréquence cardiaque, la glycémie et d'autres paramètres vitaux d'un patient. Cela a le potentiel de sauver des vies car les données sont analysées localement à la périphérie et le personnel serait averti en temps réel lorsqu'une réponse rapide est nécessaire pour sauver des vies.

Conclusion

Dans cet article de blog, nous avons appris qu'EdgeML peut être utilisé aux fins suivantes :

1. EdgeML peut être utilisé dans le secteur de la santé pour fournir un accès rapide aux antécédents médicaux d'un patient et aider à l'évaluation instantanée et rapide de données complexes, contribuant ainsi à éviter toute perte. En outre, il peut aider à développer des systèmes basés sur Edge ML dans les hôpitaux et les résidences-services.

2. EdgeML peut être utilisé dans les assistants virtuels et les systèmes audio. Il peut spécifiquement aider à la détection et au traitement des mots de réveil et peut aider à séparer la voix de l'utilisateur des autres sons de l'environnement.

3. EdgeML peut également aider à surveiller la sécurité du sujet dans divers domaines tels que le pétrole et le gaz, les véhicules sans conducteur, les chantiers de construction, etc. En outre, il peut être utilisé pour assurer la sécurité de l'utilisateur contre les intrusions dans le cyber-réseau.

4. EdgeML peut être exploité par les points de vente en ligne qui tentent de capitaliser sur une base de consommateurs pour prédire les évaluations des produits. En outre, il peut être mis à profit pour un marketing ciblé.

5. EdgeML peut être utilisé dans les industries pour prendre des décisions opérationnelles et d'installation plus précises et plus rapides. De plus, il peut être utilisé pour surveiller la santé des composants.

6. EdgeML peut être utilisé pour la gestion de l'environnement, de l'agriculture et de la faune.

Source : https://www.analyticsvidhya.com/blog/2022/08/applications-of-edgeml/

#applications #edgeml  #beginner #machinelearning 

Applications d'EdgeML
Thai  Son

Thai Son

1660071900

Các Ứng Dụng Của EdgeML

EdgeML  là công nghệ cho phép Thiết bị thông minh xử lý dữ liệu cục bộ (thông qua máy chủ cục bộ hoặc ở cấp thiết bị), tận dụng các thuật toán máy học và học sâu, giảm sự phụ thuộc vào mạng Đám mây. Thuật ngữ cạnh đề cập đến việc xử lý ở cấp thiết bị hoặc cục bộ (và gần nhất với các thành phần thu thập dữ liệu) bằng các thuật toán học máy và sâu.

Edge ML là một bước đột phá. Nó giải quyết những lo ngại về bảo mật về việc lưu trữ thông tin người dùng cá nhân trong Đám mây và giảm gánh nặng cho mạng Đám mây bằng cách xử lý dữ liệu cục bộ. Nó cũng giúp xử lý dữ liệu thời gian thực, điều hiện không thể đạt được với các thiết bị thông minh vận hành trên nền tảng đám mây điển hình nhưng rất quan trọng đối với các công nghệ như phương tiện không người lái và thiết bị y tế. Trong bài viết này, chúng ta sẽ xem xét một số ứng dụng học máy ở phần rìa, vì vậy chúng ta hãy bắt đầu.

Các ứng dụng của EdgeML

1. Chăm sóc sức khỏe:  Các bệnh mãn tính có thể được theo dõi bằng máy theo dõi sức khỏe và các thiết bị đeo khác. Trong trường hợp cấp cứu y tế, cần phải truy cập nhanh vào bệnh sử. Kết quả có thể gây tử vong nếu các thiết bị này dựa vào việc truyền dữ liệu lên đám mây trước khi đưa ra quyết định. Để tránh điều này, EdgeML hỗ trợ đánh giá nhanh chóng và kịp thời các dữ liệu phức tạp cần bác sĩ chú ý ngay lập tức để cải thiện việc chăm sóc bệnh nhân và loại bỏ các nguy cơ tiềm ẩn khác liên quan đến sức khỏe. Ngoài ra, người chăm sóc có thể được thông báo trong một trường hợp như vậy.

Một minh họa về AI / ML tiên tiến trong môi trường chăm sóc sức khỏe được trao quyền bởi IoT.

2. Trợ lý ảo:  Các tiện ích hỗ trợ giọng nói không liên tục thu âm thanh và gửi nó lên đám mây để xác định xem chúng có đang được hướng dẫn hay không. Các giao diện giọng nói ngày nay thường sử dụng tính năng phát hiện từ khóa hoặc "đánh thức". EdgeML có thể giúp xử lý nhanh các tín hiệu micrô trong khi phần còn lại của hệ thống không hoạt động. Cách tiếp cận tiết kiệm năng lượng này đặc biệt quan trọng để kéo dài thời gian sử dụng trong các thiết bị chạy bằng pin di động như điện thoại thông minh và thiết bị đeo được.

Hơn nữa, công nghệ EdgeML có thể giúp tách giọng nói của người dùng khỏi các âm thanh khác trong môi trường. Ví dụ: kỹ thuật tạo chùm tia xử lý âm thanh từ nhiều micrô trong thiết bị để tập trung nghe theo hướng người dùng đang nói - giống như micrô định hướng ảo.

Hướng dẫn đầy đủ về cách thay đổi từ đánh thức Alexa cho các thiết bị Amazon Echo

3. Giám sát An toàn trong các cơ sở Dầu khí: Hầu hết các cơ sở liên quan đến dầu khí được đặt từ xa với kết nối kém. Định vị các cảm biến và edgeML tại hoặc gần các hệ thống như vậy cho phép cải thiện khả năng kết nối và giám sát liên tục. EdgeML cũng có thể phân tích các vấn đề với thiết bị trong thời gian thực, hỗ trợ bảo trì dự đoán. Các cảm biến có thể theo dõi độ ẩm, nhiệt độ và năng lượng được tạo ra bởi tất cả các thiết bị, bao gồm cả xe điện và hệ thống trang trại gió, và dữ liệu thu thập được có thể được phân tích thêm bằng EdgeML. Kết quả đầu ra có thể là quản lý lưới năng lượng để giúp giảm chi phí và tạo ra năng lượng hiệu quả.

giải pháp video dựa trên đám mây để giám sát giếng dầu

4. Phát hiện xâm nhập mạng: Do sự gia tăng đáng kể các lỗ hổng tiềm ẩn hoặc các kênh tấn công trong mạng, an ninh mạng là mối quan tâm lớn của nhiều doanh nghiệp. Việc triển khai các kỹ thuật ML ở biên mạng cho thấy rằng phần mềm và thiết bị an ninh mạng có thể không ngừng tăng lên. Kỹ thuật ML có thể được sử dụng để xác định các mối đe dọa với sự cải tiến liên tục bằng cách mô phỏng các loại tấn công mạng khác nhau. Trong những tình huống quan trọng, thời gian tiết kiệm được bằng cách loại bỏ các máy chủ đám mây có thể là vô giá.

Xâm nhập mạng - Phát hiện và ngăn chặn

5. Phát hiện hoạt động của thiết bị IoT:  Với tốc độ phát triển nhanh chóng của Internet vạn vật và các thiết bị được kết nối, đã làm gia tăng sự quan tâm đến các ứng dụng và thiết bị đeo được về sức khỏe và thể dục. Các ứng dụng này thường lấy thông tin từ con quay hồi chuyển và gia tốc kế được tìm thấy trong nhiều điện thoại thông minh hiện nay. Tuy nhiên, khi lượng dữ liệu cá nhân được thu thập và giao tiếp bởi các ứng dụng này ngày càng tăng, thì những lo lắng về quyền riêng tư cá nhân và truyền dữ liệu an toàn cũng tăng theo. Học máy trên các thiết bị tiên tiến, như điện thoại thông minh, cho phép học các mô hình bảo mật trực tiếp trên thiết bị, loại bỏ nhu cầu gửi dữ liệu lên đám mây hoặc mở rộng dữ liệu ra bên ngoài.

Sống trên Cạnh: Điện toán biên là gì và tại sao chúng ta cần nó?  - Blog WeAreBrain

6. Dự đoán Xếp hạng Sản phẩm: Các thuật toán ML được sử dụng nhiều trong các lĩnh vực như phân tích tâm lý người tiêu dùng để dự đoán xếp hạng sản phẩm dựa trên các đánh giá do khách hàng viết. Dữ liệu văn bản từ các bài đánh giá được kiểm tra dưới dạng chuỗi từ trước khi máy học biên xác định chuỗi từ có liên quan và cung cấp thông tin chi tiết. Bất kỳ cửa hàng thương mại điện tử nào cố gắng tận dụng cơ sở người tiêu dùng để dự đoán xếp hạng sản phẩm đều có thể tận dụng thông tin chi tiết thu được.

Viết trong các Ngôi sao: Triển khai Hệ thống Đánh giá Sản phẩm

7. Xe tự hành:  Bất kỳ người đi bộ nào băng qua phía trước xe tự hành đều phải dừng lại kịp thời để tránh trường hợp đáng tiếc xảy ra. Đưa ra quyết định này dựa trên máy chủ từ xa là không đáng tin cậy và không công bằng. Hơn nữa, các phương tiện sử dụng công nghệ tiên tiến có thể tương tác hiệu quả hơn vì chúng có thể giao tiếp với nhau trước, thay vì gửi dữ liệu về tai nạn, thời tiết, giao thông hoặc chuyển hướng đến một máy chủ từ xa.

8. Quản lý Môi trường và Động vật Hoang dã: EdgeML có thể được tận dụng để dự đoán và tối ưu hóa việc lựa chọn các loài cây cho mục đích tái trồng rừng bằng cách sử dụng dữ liệu bản đồ. Các loài tốt nhất sau đó được suy ra dựa trên các biến số như độ cao, độ phơi sáng, loại đất và độ ẩm; do đó các nỗ lực trồng rừng tự động có thể được thực hiện.

Các quan điểm trong học máy để bảo tồn động vật hoang dã |  Nature Communications

9. Nông nghiệp: Dữ liệu liên quan đến nhiệt độ môi trường xung quanh, độ ẩm của đất và các biến số khác có thể được thu thập với sự trợ giúp của các cảm biến. Hơn nữa, dữ liệu cảm biến này có thể được phân tích với sự trợ giúp của các giải pháp EdgeML để phân tích mật độ dinh dưỡng và lượng nước tiêu thụ nhằm tối ưu hóa và tăng thu hoạch.

Các trường hợp sử dụng nông nghiệp & ứng dụng học máy - Phân tích dữ liệu

10. Xây dựng: EdgeML có thể được sử dụng trong lĩnh vực xây dựng. Dữ liệu từ các thiết bị an toàn, máy ảnh, cảm biến, v.v. Nó có thể được thu thập và phân tích để tăng độ an toàn cho người lao động. Hơn nữa, nó cung cấp một cái nhìn tổng quan về các điều kiện an toàn tại nơi làm việc và đảm bảo rằng người lao động tuân theo các quy định về an toàn.

6 ứng dụng tuyệt vời của trí tuệ nhân tạo trong xây dựng thông minh

11. Sản xuất: Cảm biến môi trường, máy học và phân tích thời gian thực có thể giám sát các quy trình công nghiệp để cải thiện chất lượng sản phẩm và phát hiện các lỗi sản xuất. Nó cũng cung cấp thông tin về các thành phần có sẵn và chúng sẽ tồn tại trong bao lâu, giúp nhà sản xuất đưa ra các quyết định vận hành và cơ sở chính xác và nhanh chóng hơn .

Những lợi ích đột phá của Học máy đối với Sản xuất

12. Theo dõi tình trạng của các thành phần: Trong các lĩnh vực khác nhau như năng lượng, công nghiệp, dân cư, chăm sóc sức khỏe, v.v. EdgeML, kết hợp với các cảm biến khác, có thể được sử dụng để theo dõi tình trạng của các thành phần và cảnh báo cho các chuyên gia khi cần sửa chữa. Do đó, nó có thể giúp trì hoãn hoặc tránh các tình huống hỏng hóc / nóng máy và tăng tuổi thọ của máy.

3 lý do nên ưu tiên giám sát máy móc - IndMacDig |  Thông báo máy móc công nghiệp

13. Quảng cáo:  Tiếp thị mục tiêu và thông tin cho các doanh nghiệp bán lẻ dựa trên các khía cạnh quan trọng được xác định trong thiết bị tại hiện trường, như dữ liệu nhân khẩu học. Xem xét điều này, EdgeML có thể giúp bảo vệ quyền riêng tư của người dùng. Thay vì gửi dữ liệu không được bảo vệ lên đám mây, nó có thể mã hóa dữ liệu và giữ nguyên nguồn.

Có phải Momentum đang chuyển hướng tới lệnh cấm quảng cáo hành vi?  - Đánh dấu

14. Phát triển các hệ thống dựa trên Edge ML trong bệnh viện và các cơ sở hỗ trợ sinh hoạt: Tận dụng EdgeML kết hợp với dữ liệu thu thập từ các cảm biến môi trường và thiết bị đeo được có thể hỗ trợ theo dõi nhịp tim, mức đường huyết và các chỉ số quan trọng khác của bệnh nhân. Điều này có khả năng cứu sống vì dữ liệu được phân tích cục bộ ở rìa và nhân viên sẽ được thông báo trong thời gian thực khi cần phản hồi nhanh chóng để cứu sống.

Sự kết luận

Trong bài đăng trên blog này, chúng tôi đã biết rằng EdgeML có thể được sử dụng cho các mục đích sau:

1. EdgeML có thể được sử dụng trong lĩnh vực y tế để cung cấp khả năng truy cập nhanh vào lịch sử y tế của bệnh nhân và hỗ trợ đánh giá nhanh chóng và kịp thời các dữ liệu phức tạp, do đó giúp tránh mọi thương vong. Hơn nữa, nó có thể giúp phát triển các hệ thống dựa trên Edge ML trong các bệnh viện và các cơ sở hỗ trợ sinh hoạt.

2. EdgeML có thể được sử dụng trong trợ lý ảo và hệ thống âm thanh. Nó đặc biệt có thể giúp phát hiện và xử lý từ đánh thức và có thể hỗ trợ tách giọng nói của người dùng khỏi các âm thanh khác trong môi trường.

3. EdgeML cũng có thể giúp giám sát sự an toàn của đối tượng trong nhiều lĩnh vực khác nhau như dầu khí, phương tiện không người lái, công trường xây dựng, v.v. Ngoài ra, nó có thể được sử dụng để đảm bảo an toàn cho người dùng khỏi sự xâm nhập của mạng không gian mạng.

4. EdgeML có thể được tận dụng bởi các cửa hàng thương mại điện tử cố gắng tận dụng cơ sở người tiêu dùng để dự đoán xếp hạng sản phẩm. Ngoài ra, nó có thể được tận dụng để tiếp thị mục tiêu.

5. EdgeML có thể được sử dụng trong các ngành công nghiệp để đưa ra các quyết định về hoạt động và cơ sở chính xác và nhanh chóng hơn. Hơn nữa, nó có thể được tận dụng để theo dõi sức khỏe của các thành phần.

6. EdgeML có thể được sử dụng để quản lý môi trường, nông nghiệp và động vật hoang dã.

Nguồn: https://www.analyticsvidhya.com/blog/2022/08/application-of-edgeml/

#applications #edgeml  #beginner #machinelearning 

Các Ứng Dụng Của EdgeML
顾 静

顾 静

1660069800

EdgeML 的应用

EdgeML 是一种技术,它允许智能设备在本地(通过本地服务器或在设备级别)处理数据,利用机器和深度学习算法,减少对云网络的依赖。术语边缘是指通过深度和机器学习算法在设备或本地级别(最接近收集数据的组件)进行的处理。

Edge ML 是开创性的。它解决了在云中存储个人用户信息的安全问题,并通过在本地处理数据来减轻云网络的负担。它还有助于实时数据处理,这是目前典型的云操作智能设备无法实现的,但对无人驾驶车辆和医疗设备等技术很重要。在本文中,我们将介绍一些边缘的机器学习应用程序,让我们开始吧。

EdgeML 的应用

1. 医疗保健: 可以通过健康监测器和其他可穿戴设备跟踪慢性病。在医疗紧急情况下,迫切需要快速访问病史。如果这些设备在做出决策之前依赖于将数据传输到云端,结果可能是致命的。为了避免这种情况,EdgeML 协助对需要医生立即关注的复杂数据进行即时和及时的评估,以改善患者护理并消除其他潜在的健康相关风险。此外,可以在这种情况下通知看护人。

物联网赋能医疗环境中边缘 AI/ML 的图示。

2. 虚拟助手: 支持语音的小工具不会不断捕获音频并将其发送到云端以确定它们是否被指示。今天的语音界面经常使用关键字或“唤醒词”检测。EdgeML 可以帮助在系统其余部分保持空闲时快速处理麦克风信号。这种节能方法对于延长便携式电池供电设备(如智能手机和可穿戴设备)的使用时间尤其重要。

此外,EdgeML 技术可以帮助将用户的声音与环境中的其他声音区分开来。例如,波束成形技术处理来自设备中多个麦克风的音频,以集中聆听用户说话的方向——就像虚拟定向麦克风一样。

有关如何更改 Amazon Echo 设备的 Alexa 唤醒词的完整指南

3. 监控油气设施的安全性:大多数油气相关设施位于偏远地区,连通性较差。在此类系统处或附近定位传感器和 edgeML 可以改善连接性和持续监控。EdgeML 还可以实时分析设备问题,帮助进行预测性维护。这些传感器可以监测所有设备(包括电动汽车和风电场系统)产生的湿度、温度和能量,并且可以使用 EdgeML 进一步分析收集到的数据。由此产生的输出可能是管理能源网,以帮助降低成本和高效地创造能源。

基于云的油井监控视频解决方案

4. 检测网络入侵:由于网络内潜在漏洞或攻击渠道的显着增加,网络安全是许多企业关注的主要问题。在网络边缘部署 ML 技术表明网络安全软件和设备可以不断增加。ML 技术可用于通过模拟不同类型的网络攻击来识别威胁并不断改进。在危急情况下,消除云服务器所节省的时间可能是无价的。

网络入侵 - 检测和预防

5.物联网设备活动检测: 随着物联网和连接设备的快速增长,人们对健康和健身应用程序和可穿戴设备的兴趣增加。这些应用程序通常从当前许多智能手机中的陀螺仪和加速度计获取信息。然而,随着这些应用程序收集和传递的个人数据量的增加,人们对个人隐私和安全数据传输的担忧也随之增加。智能手机等边缘设备上的机器学习可以直接在设备上学习安全模型,无需将数据发送到云端或将其外部化。

生活在边缘:什么是边缘计算,我们为什么需要它? - WeAreBrain 博客

6. 产品评级预测:机器学习算法大量用于消费者情绪分析等领域,根据客户撰写的评论预测产品评级。在边缘机器学习识别相关单词序列并提供见解之前,将评论中的文本数据作为单词序列进行检查。任何试图利用消费者基础来预测产品评级的电子商务渠道都可以利用获得的洞察力。

写在星星上:实施产品评级系统

7. 自动驾驶汽车: 任何在自动驾驶汽车前面横穿的行人都必须及时制止,以免发生任何不幸事件。基于远程服务器做出这个决定是不可靠和不公平的。此外,使用边缘技术的车辆可以更有效地进行交互,因为它们可以首先相互通信,而不是将有关事故、天气、交通或转移的数据发送到远程服务器。

8. 环境和野生动物管理: EdgeML 可用于预测和优化树种的选择,以使用制图数据进行再造林。然后根据海拔、暴露、土壤类型和湿度等变量推断最佳物种;因此可以进行自动重新造林工作。

机器学习对野生动物保护的看法|  自然通讯

9. 农业:可以借助传感器收集与环境温度、土壤水分含量和其他变量相关的数据。此外,这些传感器数据可以在 EdgeML 解决方案的帮助下进行分析,以分析养分密度和耗水量,从而优化和增加收获。

农业用例和机器学习应用 - 数据分析

10. 建筑: EdgeML 可用于建筑领域。来自安全设备、摄像头、传感器等的数据。可以收集和分析以提高工人的安全性。此外,它还概述了工作场所的安全条件,并确保工人遵守安全法规。

人工智能在智能建筑中的 6 大惊人应用

11. 制造:环境传感器、机器学习和实时分析可以监控工业过程,以提高产品质量并检测生产错误。它还提供有关可用组件及其使用时间的信息,帮助生产商做出更准确、更快速的 运营和设施决策。

机器学习对制造业的突破性好处

12. 监控组件的健康状况:在能源、工业、住宅、医疗保健等各个领域。EdgeML 与其他传感器结合使用,可用于监控组件的健康状况并在需要维修时提醒专家。因此,它可以帮助延迟或避免机器故障/熔毁情况并延长机器的使用寿命。

优先考虑机器监控的 3 个原因 - IndMacDig |  工业机械文摘

13. 广告: 零售企业的定向营销和信息依赖于现场设备中定义的关键方面,例如人口数据。考虑到这一点,EdgeML 可以帮助保护用户隐私。它不会将未受保护的数据发送到云端,而是可以加密数据并保留来源。

势头正在转向禁止行为广告吗? – 标记

14. 在医院和辅助生活设施中开发基于 Edge ML 的系统:利用 EdgeML 以及从可穿戴和环境传感器收集的数据可以帮助监测患者的心率、血糖水平和其他生命体征。这有可能挽救生命,因为数据是在边缘本地分析的,当需要快速响应以挽救生命时,工作人员将得到实时通知。

结论

在这篇博文中,我们了解到 EdgeML 可用于以下目的:

1. EdgeML 可用于卫生部门,以提供对患者病史的快速访问,并协助对复杂数据进行即时和及时的评估,从而有助于避免任何人员伤亡。此外,它可以帮助在医院和辅助生活设施中开发基于 Edge ML 的系统。

2. EdgeML 可用于虚拟助手和声音系统。它可以特别有助于唤醒词的检测和处理,并且可以帮助将用户的声音与环境中的其他声音区分开来。

3. EdgeML 还可以帮助监控对象在石油和天然气、无人驾驶车辆、建筑工地等各个领域的安全。此外,它还可以用于确保用户的安全免受网络网络入侵。

4. 电子商务机构可以利用 EdgeML 来利用消费者基础来预测产品评级。此外,它可以用于有针对性的营销。

5. EdgeML 可用于行业,以做出更准确、更快速的运营和设施决策。此外,它可以用来监控组件的健康状况。

6. EdgeML 可用于环境、农业和野生动物管理。

来源:https ://www.analyticsvidhya.com/blog/2022/08/applications-of-edgeml/

#applications #edgeml  #beginner #machinelearning 

EdgeML 的应用

Aplicaciones de EdgeML

EdgeML  es una tecnología que permite que los dispositivos inteligentes procesen datos localmente (a través de servidores locales o a nivel de dispositivo), aprovechando los algoritmos de aprendizaje automático y profundo, lo que reduce la dependencia de las redes en la nube. El término borde se refiere al procesamiento a nivel de dispositivo o local (y más cercano a los componentes que recopilan los datos) mediante algoritmos de aprendizaje automático y profundo.

Edge ML es innovador. Aborda las preocupaciones de seguridad sobre el almacenamiento de información personal del usuario en la nube y disminuye la carga en las redes de la nube mediante el procesamiento de datos localmente. También ayuda en el procesamiento de datos en tiempo real, que actualmente no se puede lograr con los dispositivos inteligentes típicos que funcionan en la nube, pero es importante para tecnologías como vehículos sin conductor y equipos médicos. En este artículo, veremos algunas aplicaciones de aprendizaje automático en el perímetro, así que comencemos.

Aplicaciones de EdgeML

1. Atención médica:  las enfermedades crónicas se pueden rastrear con monitores de salud y otros dispositivos portátiles. En el caso de una emergencia médica, existe una gran necesidad de obtener acceso rápido al historial médico. Los resultados podrían ser fatales si estos dispositivos se basan en transferir datos a la nube antes de tomar decisiones. Para eludir esto, EdgeML ayuda en la evaluación instantánea y oportuna de datos complejos que requieren la atención inmediata de los médicos para mejorar la atención al paciente y eliminar otros riesgos potenciales relacionados con la salud. Además, los cuidadores pueden ser notificados en tal escenario.

Una ilustración de AI/ML en el borde en un entorno de atención médica potenciado por IoT.

2. Asistente virtual:  los dispositivos habilitados para voz no capturan audio constantemente y lo envían a la nube para determinar si están recibiendo instrucciones. Las interfaces de voz de hoy en día a menudo emplean la detección de palabras clave o "palabras de activación". EdgeML puede ayudar a procesar rápidamente las señales del micrófono mientras el resto del sistema permanece inactivo. Este enfoque de eficiencia energética es especialmente crucial para extender el tiempo de uso en dispositivos portátiles que funcionan con baterías, como teléfonos inteligentes y dispositivos portátiles.

Además, la tecnología EdgeML puede ayudar a separar la voz del usuario de otros sonidos del entorno. Por ejemplo, las técnicas de formación de haces procesan el audio de múltiples micrófonos en el dispositivo para enfocar la escucha en la dirección desde la que habla el usuario, como un micrófono direccional virtual.

Una guía completa sobre cómo cambiar la palabra de activación de Alexa para dispositivos Amazon Echo

3. Supervisión de la seguridad en las instalaciones de petróleo y gas: la mayoría de las instalaciones relacionadas con el petróleo y el gas están ubicadas en lugares remotos con mala conectividad. La ubicación de sensores y edgeML en o cerca de dichos sistemas permite una mejor conectividad y un monitoreo constante. EdgeML también puede analizar problemas con el equipo en tiempo real, lo que ayuda en el mantenimiento predictivo. Los sensores pueden monitorear la humedad, la temperatura y la energía generada por todos los equipos, incluidos los vehículos eléctricos y los sistemas de parques eólicos, y los datos recopilados se pueden analizar más a fondo utilizando EdgeML. El resultado resultante podría ser administrar la red de energía para ayudar con la reducción de costos y la creación de energía eficiente.

soluciones de video basadas en la nube para el monitoreo de pozos petroleros

4. Detección de intrusiones en la red: debido al aumento significativo de posibles vulnerabilidades o canales de ataque dentro de una red, la seguridad cibernética es una preocupación importante para muchas empresas. La implementación de técnicas de ML en el borde de la red sugiere que el software y los dispositivos de seguridad de la red pueden aumentar constantemente. Las técnicas de ML se pueden utilizar para identificar amenazas con una mejora continua mediante la simulación de diferentes tipos de ataques cibernéticos. En situaciones críticas, el tiempo que se ahorra al eliminar los servidores en la nube no tiene precio.

Intrusión en la red: detección y prevención

5. Detección de actividad de dispositivos IoT:  con el rápido crecimiento del Internet de las cosas y los dispositivos conectados, ha habido un aumento en el interés por las aplicaciones y los dispositivos portátiles para la salud y el estado físico. Estas aplicaciones suelen obtener información de los giroscopios y acelerómetros que se encuentran en muchos teléfonos inteligentes actuales. Sin embargo, a medida que crece la cantidad de datos personales recopilados y comunicados por estas aplicaciones, también aumentan las preocupaciones sobre la privacidad personal y las transferencias seguras de datos. El aprendizaje automático en dispositivos perimetrales, como los teléfonos inteligentes, permite aprender modelos seguros directamente en los dispositivos, lo que elimina la necesidad de enviar datos a la nube o externalizarlos.

Living on the Edge: ¿Qué es la computación perimetral y por qué la necesitamos?  - Blog WeAreBrain

6. Predicción de calificaciones de productos: los algoritmos de ML se usan mucho en áreas como el análisis de la opinión del consumidor para predecir las calificaciones de los productos en función de las reseñas escritas por los clientes. Los datos de texto de las revisiones se examinan como una secuencia de palabras antes de que el aprendizaje automático de borde identifique las secuencias de palabras relevantes y proporcione información. Cualquier punto de venta de comercio electrónico que intente capitalizar una base de consumidores para predecir las calificaciones de los productos puede aprovechar los conocimientos obtenidos.

Escrito en las estrellas: implementación de un sistema de clasificación de productos

7. Vehículos Autónomos:  Todo peatón que cruce frente a un vehículo autónomo deberá ser detenido oportunamente para evitar cualquier incidente desafortunado. Tomar esta decisión basándose en el servidor remoto es poco fiable e injusto. Además, los vehículos que usan tecnología de punta pueden interactuar de manera más eficiente, ya que primero pueden comunicarse entre sí, en lugar de enviar datos sobre accidentes, clima, tráfico o desvíos a un servidor remoto.

8. Gestión ambiental y de la vida silvestre: se puede aprovechar EdgeML para predecir y optimizar la selección de especies de árboles con fines de reforestación utilizando datos cartográficos. Luego, se infiere la mejor especie en función de variables como la altitud, la exposición, el tipo de suelo y la humedad; por lo tanto, se podrían realizar esfuerzos automáticos de reforestación.

Perspectivas en el aprendizaje automático para la conservación de la vida silvestre |  Comunicaciones de la naturaleza

9. Agricultura: los datos relacionados con la temperatura ambiente, el nivel de humedad del suelo y otras variables se pueden recopilar con la ayuda de sensores. Además, los datos de este sensor se pueden analizar con la ayuda de las soluciones EdgeML para analizar la densidad de nutrientes y el consumo de agua para optimizar y aumentar la cosecha.

Casos de uso de agricultura y aplicaciones de aprendizaje automático: análisis de datos

10. Construcción: EdgeML se puede utilizar en el sector de la construcción. Los datos de los equipos de seguridad, cámaras, sensores, etc. se pueden recopilar y analizar para aumentar la seguridad del trabajador. Además, proporciona una descripción general de las condiciones de seguridad en el lugar de trabajo y garantiza que los trabajadores sigan las normas de seguridad.

6 asombrosas aplicaciones de la inteligencia artificial en la construcción inteligente

11. Fabricación: los sensores ambientales, el aprendizaje automático y el análisis en tiempo real pueden monitorear los procesos industriales para mejorar la calidad del producto y detectar errores de producción. También proporciona información sobre los componentes disponibles y cuánto durarán, lo que ayuda al productor a tomar decisiones operativas y de instalaciones más precisas y rápidas .

Beneficios innovadores del aprendizaje automático para la fabricación

12. Monitoreo de la salud de los componentes: en varios sectores como el energético, industrial, residencial, de salud, etc. EdgeML, junto con otros sensores, se puede usar para monitorear la salud de los componentes y alertar a los especialistas cuando se requiere una reparación. Por lo tanto, puede ayudar a retrasar o evitar situaciones de avería o fusión de la máquina y aumentar la vida útil de la máquina.

3 razones por las que el monitoreo de máquinas es una prioridad - IndMacDig |  Compendio de maquinaria industrial

13. Publicidad:  el marketing y la información dirigidos a las empresas minoristas se basan en aspectos críticos definidos en el equipo de campo, como los datos demográficos. Teniendo esto en cuenta, EdgeML puede ayudar a proteger la privacidad del usuario. En lugar de enviar datos desprotegidos a la nube, puede cifrar los datos y conservar la fuente.

¿Está cambiando el impulso hacia la prohibición de la publicidad conductual?  – El marcado

14. Desarrollar sistemas basados ​​en Edge ML en hospitales e instalaciones de vivienda asistida: Aprovechar EdgeML junto con los datos recopilados de sensores portátiles y ambientales puede ayudar a monitorear la frecuencia cardíaca, los niveles de glucosa y otros signos vitales de un paciente. Esto tiene el potencial de salvar vidas porque los datos se analizan localmente en el perímetro y el personal sería notificado en tiempo real cuando se requiera una respuesta rápida para salvar vidas.

Conclusión

En esta publicación de blog, aprendimos que EdgeML se puede usar para los siguientes propósitos:

1. EdgeML se puede utilizar en el sector de la salud para proporcionar un acceso rápido al historial médico de un paciente y ayudar en la evaluación instantánea y oportuna de datos complejos, lo que ayuda a evitar accidentes. Además, puede ayudar a desarrollar sistemas basados ​​en Edge ML en hospitales e instalaciones de vida asistida.

2. EdgeML se puede utilizar en asistentes virtuales y sistemas de sonido. Puede ayudar específicamente en la detección y el procesamiento de palabras de activación y puede ayudar a separar la voz del usuario de otros sonidos en el entorno.

3. EdgeML también puede ayudar a monitorear la seguridad del sujeto en varios dominios como petróleo y gas, vehículos sin conductor, sitios de construcción, etc. Además, puede emplearse para garantizar la seguridad del usuario contra las intrusiones en la red cibernética.

4. EdgeML puede ser aprovechado por los puntos de venta de comercio electrónico que intentan capitalizar una base de consumidores para predecir las calificaciones de los productos. Además, se puede aprovechar para marketing dirigido.

5. EdgeML se puede utilizar en industrias para tomar decisiones operativas y de instalaciones más precisas y rápidas. Además, se puede aprovechar para monitorear la salud de los componentes.

6. EdgeML se puede aprovechar para la gestión ambiental, agrícola y de vida silvestre.

Fuente: https://www.analyticsvidhya.com/blog/2022/08/applications-of-edgeml/

#applications #edgeml  #beginner #machinelearning 

Aplicaciones de EdgeML