如何在 Angular 应用程序中使用 HttpParams 传递参数

HttpParams 允许您在 Angular 中使用 HttpClient 请求传递参数，这里我将给您举一个非常简单的示例，说明如何在 Angular 应用程序中使用 HttpParams 传递参数。让我们看看以下步骤：

第 1 步：创建新应用

您可以使用以下命令轻松创建 Angular 应用程序：

ng new my-new-app

第 2 步：导入 HttpClientModule

在这一步中，我们需要将 HttpClientModule 导入到 app.module.ts 文件中。所以让我们像下面这样导入它：

src/app/app.module.ts

import { BrowserModule } from '@angular/platform-browser';import { NgModule } from '@angular/core';  import { AppComponent } from './app.component';import { HttpClientModule } from '@angular/common/http';  @NgModule({  declarations: [    AppComponent  ],  imports: [    BrowserModule,    HttpClientModule  ],  providers: [],  bootstrap: [AppComponent]})export class AppModule { }

第 3 步：更新 TS 文件

现在我们必须为 HttpClient 和 HttpHeaders 使用这个编写代码。所以让我们更新代码如下：

src/app/app.component.ts

import { Component } from '@angular/core';import { HttpClient, HttpParams } from '@angular/common/http';  @Component({  selector: 'app-root',  templateUrl: './app.component.html',  styleUrls: ['./app.component.css']})export class AppComponent {  title = 'fullcal';    /*------------------------------------------  --------------------------------------------  Define constructor  --------------------------------------------  --------------------------------------------*/  constructor(private http: HttpClient) {}    /*------------------------------------------  --------------------------------------------  Define ngOnInit()  --------------------------------------------  --------------------------------------------*/  ngOnInit() {      let auth_token = "asasa21212....";      let params = new HttpParams();    params = params.append('_page', 1);    params = params.append('_limit', 10);      const requestOptions = { params: params };          this.http        .get('http://localhost:8001/events.php', requestOptions)        .subscribe((res: any) => {            console.log(res);        });  }}

第 4 步：创建 API

在这里，我们将创建一个简单的 php 文件调用 events.php 并将两个事件作为 json 返回。所以让我们创建文件并运行 php 应用程序。

事件.php

<?php  header("Access-Control-Allow-Origin: *");header("Access-Control-Allow-Methods: PUT, GET, POST");header("Access-Control-Allow-Headers: Origin, X-Requested-With, Content-Type, Accept, Authorization");  $parameters = $_GET;echo json_encode($parameters);

现在，您必须使用以下命令运行此文件：

php -S localhost:8001

运行 Angular 应用程序：

所有必需的步骤都已完成，现在您必须输入以下命令并按 Enter 键运行 Angular 应用程序：

ng serve

现在，转到您的网络浏览器，输入给定的 URL 并查看应用程序输出：

http://localhost:4200

我希望它可以帮助你...

资料来源：https ://www.itsolutionstuff.com/post/how-to-use-httpparams-in-angular-13example.html

#http #params #angular

Constança Melo Antunes

1656530400

Passar Parâmetros Usando HttpParams No Aplicativo Angular

HttpParams permite passar parâmetros com requisição HttpClient em angular, Aqui vou dar um exemplo bem simples de como passar parâmetros usando HttpParams em angular app. Vejamos abaixo os passos:

Etapa 1: criar um novo aplicativo

Você pode criar facilmente seu aplicativo angular usando o comando abaixo:

ng new my-new-app

Etapa 2: importar HttpClientModule

Nesta etapa, precisamos importar HttpClientModule para o arquivo app.module.ts. então vamos importá-lo como abaixo:

src/app/app.module.ts

import { BrowserModule } from '@angular/platform-browser';
import { NgModule } from '@angular/core';
  
import { AppComponent } from './app.component';
import { HttpClientModule } from '@angular/common/http';
  
@NgModule({
  declarations: [
    AppComponent
  ],
  imports: [
    BrowserModule,
    HttpClientModule
  ],
  providers: [],
  bootstrap: [AppComponent]
})

export class AppModule { }

Etapa 3: atualizar o arquivo TS

Agora temos que usar este código de gravação para HttpClient e HttpHeaders. Então vamos atualizar o código como abaixo:

src/app/app.component.ts

import { Component } from '@angular/core';
import { HttpClient, HttpParams } from '@angular/common/http';
  
@Component({
  selector: 'app-root',
  templateUrl: './app.component.html',
  styleUrls: ['./app.component.css']
})
export class AppComponent {
  title = 'fullcal';
  
  /*------------------------------------------
  --------------------------------------------
  Define constructor
  --------------------------------------------
  --------------------------------------------*/
  constructor(private http: HttpClient) {}
  
  /*------------------------------------------
  --------------------------------------------
  Define ngOnInit()
  --------------------------------------------
  --------------------------------------------*/
  ngOnInit() {
  
    let auth_token = "asasa21212....";
  
    let params = new HttpParams();
    params = params.append('_page', 1);
    params = params.append('_limit', 10);
  
    const requestOptions = { params: params };
      
    this.http
        .get('http://localhost:8001/events.php', requestOptions)
        .subscribe((res: any) => {
            console.log(res);
        });

  }
}

Etapa 4: criar API

Aqui, vamos criar um arquivo php simples chamado events.php e retornar dois eventos como json. então vamos criar o arquivo e executar o php app.

eventos.php

<?php
  
header("Access-Control-Allow-Origin: *");
header("Access-Control-Allow-Methods: PUT, GET, POST");
header("Access-Control-Allow-Headers: Origin, X-Requested-With, Content-Type, Accept, Authorization");
  
$parameters = $_GET;
echo json_encode($parameters);

Agora, você deve executar este arquivo usando o comando abaixo:

php -S localhost:8001

Execute o aplicativo angular:

Todas as etapas necessárias foram feitas, agora você deve digitar o comando abaixo e pressionar enter para executar o aplicativo Angular:

ng serve

Agora, vá para o seu navegador da web, digite o URL fornecido e visualize a saída do aplicativo:

http://localhost:4200

Espero que possa te ajudar...

Fonte: https://www.itsolutionstuff.com/post/how-to-use-httpparams-in-angular-13example.html

#http #params #angular

Passar Parâmetros Usando HttpParams No Aplicativo Angular

Hoang Ha

1656529200

Cách Chuyển Các Tham Số Bằng HttpParams Trong Angular App

HttpParams cho phép bạn truyền tham số với yêu cầu HttpClient ở dạng góc, Sau đây tôi sẽ cung cấp cho bạn một ví dụ rất đơn giản về cách truyền tham số bằng HttpParams trong ứng dụng góc. Hãy xem các bước dưới đây:

Bước 1: Tạo ứng dụng mới

Bạn có thể dễ dàng tạo ứng dụng góc cạnh của mình bằng lệnh dưới đây:

ng new my-new-app

Bước 2: Nhập HttpClientModule

Trong bước này, chúng ta cần nhập HttpClientModule vào tệp app.module.ts. vì vậy hãy nhập nó như sau:

src / app / app.module.ts

import { BrowserModule } from '@angular/platform-browser';
import { NgModule } from '@angular/core';
  
import { AppComponent } from './app.component';
import { HttpClientModule } from '@angular/common/http';
  
@NgModule({
  declarations: [
    AppComponent
  ],
  imports: [
    BrowserModule,
    HttpClientModule
  ],
  providers: [],
  bootstrap: [AppComponent]
})

export class AppModule { }

Bước 3: Cập nhật tệp TS

Bây giờ chúng ta phải sử dụng mã viết này cho HttpClient và HttpHeaders. Vì vậy, hãy cập nhật mã như dưới đây:

src / app / app.component.ts

import { Component } from '@angular/core';
import { HttpClient, HttpParams } from '@angular/common/http';
  
@Component({
  selector: 'app-root',
  templateUrl: './app.component.html',
  styleUrls: ['./app.component.css']
})
export class AppComponent {
  title = 'fullcal';
  
  /*------------------------------------------
  --------------------------------------------
  Define constructor
  --------------------------------------------
  --------------------------------------------*/
  constructor(private http: HttpClient) {}
  
  /*------------------------------------------
  --------------------------------------------
  Define ngOnInit()
  --------------------------------------------
  --------------------------------------------*/
  ngOnInit() {
  
    let auth_token = "asasa21212....";
  
    let params = new HttpParams();
    params = params.append('_page', 1);
    params = params.append('_limit', 10);
  
    const requestOptions = { params: params };
      
    this.http
        .get('http://localhost:8001/events.php', requestOptions)
        .subscribe((res: any) => {
            console.log(res);
        });

  }
}

Bước 4: Tạo API

Ở đây, chúng ta sẽ tạo tệp php đơn giản gọi sự kiện.php và trả về hai sự kiện dưới dạng json. vì vậy hãy tạo tệp và chạy ứng dụng php.

event.php

<?php
  
header("Access-Control-Allow-Origin: *");
header("Access-Control-Allow-Methods: PUT, GET, POST");
header("Access-Control-Allow-Headers: Origin, X-Requested-With, Content-Type, Accept, Authorization");
  
$parameters = $_GET;
echo json_encode($parameters);

Bây giờ, bạn phải chạy tệp này bằng lệnh dưới đây:

php -S localhost:8001

Chạy ứng dụng Angular:

Tất cả các bước cần thiết đã được thực hiện, bây giờ bạn phải nhập lệnh dưới đây và nhấn enter để chạy ứng dụng Angular:

ng serve

Bây giờ, hãy truy cập trình duyệt web của bạn, nhập URL đã cho và xem đầu ra ứng dụng:

http://localhost:4200

Tôi hy vọng nó có thể giúp bạn...

Nguồn: https://www.itsolutionstuff.com/post/how-to-use-httpparams-in-angular-13example.html

#http #params #angular

Cách Chuyển Các Tham Số Bằng HttpParams Trong Angular App

Léon Peltier

1656528000

Passer Des Paramètres à L'aide De HttpParams Dans L'application Angula

HttpParams vous permet de passer des paramètres avec la requête HttpClient dans angular. Ici, je vais vous donner un exemple très simple de la façon de passer des paramètres à l'aide de HttpParams dans une application angulaire. Voyons ci-dessous les étapes :

Étape 1 : Créer une nouvelle application

Vous pouvez facilement créer votre application angulaire en utilisant la commande ci-dessous :

ng new my-new-app

Étape 2 : Importer HttpClientModule

Dans cette étape, nous devons importer HttpClientModule dans le fichier app.module.ts. alors importons-le comme ci-dessous:

src/app/app.module.ts

import { BrowserModule } from '@angular/platform-browser';
import { NgModule } from '@angular/core';
  
import { AppComponent } from './app.component';
import { HttpClientModule } from '@angular/common/http';
  
@NgModule({
  declarations: [
    AppComponent
  ],
  imports: [
    BrowserModule,
    HttpClientModule
  ],
  providers: [],
  bootstrap: [AppComponent]
})

export class AppModule { }

Étape 3 : Mettre à jour le fichier TS

Nous devons maintenant utiliser ce code d'écriture pour HttpClient et HttpHeaders. Alors mettons à jour le code comme ci-dessous :

src/app/app.component.ts

import { Component } from '@angular/core';
import { HttpClient, HttpParams } from '@angular/common/http';
  
@Component({
  selector: 'app-root',
  templateUrl: './app.component.html',
  styleUrls: ['./app.component.css']
})
export class AppComponent {
  title = 'fullcal';
  
  /*------------------------------------------
  --------------------------------------------
  Define constructor
  --------------------------------------------
  --------------------------------------------*/
  constructor(private http: HttpClient) {}
  
  /*------------------------------------------
  --------------------------------------------
  Define ngOnInit()
  --------------------------------------------
  --------------------------------------------*/
  ngOnInit() {
  
    let auth_token = "asasa21212....";
  
    let params = new HttpParams();
    params = params.append('_page', 1);
    params = params.append('_limit', 10);
  
    const requestOptions = { params: params };
      
    this.http
        .get('http://localhost:8001/events.php', requestOptions)
        .subscribe((res: any) => {
            console.log(res);
        });

  }
}

Étape 4 : Créer une API

Ici, nous allons créer un simple appel de fichier php events.php et renvoyer deux événements au format json. alors créons un fichier et exécutons l'application php.

événements.php

<?php
  
header("Access-Control-Allow-Origin: *");
header("Access-Control-Allow-Methods: PUT, GET, POST");
header("Access-Control-Allow-Headers: Origin, X-Requested-With, Content-Type, Accept, Authorization");
  
$parameters = $_GET;
echo json_encode($parameters);

Maintenant, vous devez exécuter ce fichier en utilisant la commande ci-dessous :

php -S localhost:8001

Exécutez l'application angulaire :

Toutes les étapes requises ont été effectuées, vous devez maintenant taper la commande ci-dessous et appuyer sur Entrée pour exécuter l'application Angular :

ng serve

Maintenant, allez dans votre navigateur Web, tapez l'URL donnée et affichez la sortie de l'application :

http://localhost:4200

J'espère que cela peut vous aider...

Source : https://www.itsolutionstuff.com/post/how-to-use-httpparams-in-angular-13example.html

#http #params #angular

Passer Des Paramètres à L'aide De HttpParams Dans L'application Angula

Gonzalo Almanza Segundo

1656524400

Pasar Parámetros Usando HttpParams En La Aplicación Angular

HttpParams le permite pasar parámetros con la solicitud HttpClient en angular. Aquí le daré un ejemplo muy simple de cómo pasar parámetros usando HttpParams en la aplicación angular. Veamos a continuación los pasos:

Paso 1: Crear nueva aplicación

Puede crear fácilmente su aplicación angular usando el siguiente comando:

ng new my-new-app

Paso 2: Importar HttpClientModule

En este paso, necesitamos importar HttpClientModule al archivo app.module.ts. así que vamos a importarlo como a continuación:

src/app/app.module.ts

import { BrowserModule } from '@angular/platform-browser';
import { NgModule } from '@angular/core';
  
import { AppComponent } from './app.component';
import { HttpClientModule } from '@angular/common/http';
  
@NgModule({
  declarations: [
    AppComponent
  ],
  imports: [
    BrowserModule,
    HttpClientModule
  ],
  providers: [],
  bootstrap: [AppComponent]
})

export class AppModule { }

Paso 3: Actualice el archivo TS

Ahora tenemos que usar este código de escritura para HttpClient y HttpHeaders. Así que actualicemos el código como se muestra a continuación:

src/app/app.component.ts

import { Component } from '@angular/core';
import { HttpClient, HttpParams } from '@angular/common/http';
  
@Component({
  selector: 'app-root',
  templateUrl: './app.component.html',
  styleUrls: ['./app.component.css']
})
export class AppComponent {
  title = 'fullcal';
  
  /*------------------------------------------
  --------------------------------------------
  Define constructor
  --------------------------------------------
  --------------------------------------------*/
  constructor(private http: HttpClient) {}
  
  /*------------------------------------------
  --------------------------------------------
  Define ngOnInit()
  --------------------------------------------
  --------------------------------------------*/
  ngOnInit() {
  
    let auth_token = "asasa21212....";
  
    let params = new HttpParams();
    params = params.append('_page', 1);
    params = params.append('_limit', 10);
  
    const requestOptions = { params: params };
      
    this.http
        .get('http://localhost:8001/events.php', requestOptions)
        .subscribe((res: any) => {
            console.log(res);
        });

  }
}

Paso 4: Crear API

Aquí, crearemos un archivo php simple llamado events.php y devolveremos dos eventos como json. así que vamos a crear un archivo y ejecutar la aplicación php.

eventos.php

<?php
  
header("Access-Control-Allow-Origin: *");
header("Access-Control-Allow-Methods: PUT, GET, POST");
header("Access-Control-Allow-Headers: Origin, X-Requested-With, Content-Type, Accept, Authorization");
  
$parameters = $_GET;
echo json_encode($parameters);

Ahora, debe ejecutar este archivo con el siguiente comando:

php -S localhost:8001

Ejecute la aplicación Angular:

Se han realizado todos los pasos requeridos, ahora debe escribir el siguiente comando y presionar enter para ejecutar la aplicación Angular:

ng serve

Ahora, vaya a su navegador web, escriba la URL dada y vea el resultado de la aplicación:

http://localhost:4200

Espero que te pueda ayudar...

Fuente: https://www.itsolutionstuff.com/post/how-to-use-httpparams-in-angular-13example.html

#http #params #angular

Pasar Parámetros Usando HttpParams En La Aplicación Angular

藤本結衣

1656523200

AngularアプリでHttpParamsを使用してパラメーターを渡す方法

HttpParamsを使用すると、AngularでHttpClientリクエストを使用してパラメーターを渡すことができます。ここでは、AngularアプリでHttpParamsを使用してパラメーターを渡す方法の非常に簡単な例を示します。以下の手順を見てみましょう。

ステップ1：新しいアプリを作成する

以下のコマンドを使用して、Angularアプリを簡単に作成できます。

ng new my-new-app

ステップ2：HttpClientModuleをインポートする

このステップでは、HttpClientModuleをapp.module.tsファイルにインポートする必要があります。それでは、次のようにインポートしましょう。

src / app / app.module.ts

import { BrowserModule } from '@angular/platform-browser';
import { NgModule } from '@angular/core';
  
import { AppComponent } from './app.component';
import { HttpClientModule } from '@angular/common/http';
  
@NgModule({
  declarations: [
    AppComponent
  ],
  imports: [
    BrowserModule,
    HttpClientModule
  ],
  providers: [],
  bootstrap: [AppComponent]
})

export class AppModule { }

ステップ3：TSファイルを更新する

次に、この書き込みコードをHttpClientとHttpHeadersに使用する必要があります。それでは、次のようにコードを更新しましょう。

src / app / app.component.ts

import { Component } from '@angular/core';
import { HttpClient, HttpParams } from '@angular/common/http';
  
@Component({
  selector: 'app-root',
  templateUrl: './app.component.html',
  styleUrls: ['./app.component.css']
})
export class AppComponent {
  title = 'fullcal';
  
  /*------------------------------------------
  --------------------------------------------
  Define constructor
  --------------------------------------------
  --------------------------------------------*/
  constructor(private http: HttpClient) {}
  
  /*------------------------------------------
  --------------------------------------------
  Define ngOnInit()
  --------------------------------------------
  --------------------------------------------*/
  ngOnInit() {
  
    let auth_token = "asasa21212....";
  
    let params = new HttpParams();
    params = params.append('_page', 1);
    params = params.append('_limit', 10);
  
    const requestOptions = { params: params };
      
    this.http
        .get('http://localhost:8001/events.php', requestOptions)
        .subscribe((res: any) => {
            console.log(res);
        });

  }
}

ステップ4：APIを作成する

ここでは、events.phpという単純なphpファイルを作成し、2つのイベントをjsonとして返します。それでは、ファイルを作成してphpアプリを実行しましょう。

events.php

<?php
  
header("Access-Control-Allow-Origin: *");
header("Access-Control-Allow-Methods: PUT, GET, POST");
header("Access-Control-Allow-Headers: Origin, X-Requested-With, Content-Type, Accept, Authorization");
  
$parameters = $_GET;
echo json_encode($parameters);

ここで、次のコマンドを使用してこのファイルを実行する必要があります。

php -S localhost:8001

Angularアプリを実行します：

必要な手順はすべて完了しました。次に、以下のコマンドを入力し、Enterキーを押してAngularアプリを実行する必要があります。

ng serve

次に、Webブラウザーに移動し、指定されたURLを入力して、アプリの出力を表示します。

http://localhost:4200

お役に立てば幸いです...

ソース：https ：//www.itsolutionstuff.com/post/how-to-use-httpparams-in-angular-13example.html

#http #params #angular

Adolphus Tillman

1656522000

How to Pass Parameters using HttpParams in Angular App

HttpParams allows you to pass parameters with HttpClient request in angular, Here I will give you a very simple example of how to pass parameters using HttpParams in angular app. Let's see below steps:

Step 1: Create New App

You can easily create your angular app using the below command:

ng new my-new-app

Step 2: Import HttpClientModule

In this step, we need to import HttpClientModule to app.module.ts file. so let's import it as like bellow:

src/app/app.module.ts

import { BrowserModule } from '@angular/platform-browser';
import { NgModule } from '@angular/core';
  
import { AppComponent } from './app.component';
import { HttpClientModule } from '@angular/common/http';
  
@NgModule({
  declarations: [
    AppComponent
  ],
  imports: [
    BrowserModule,
    HttpClientModule
  ],
  providers: [],
  bootstrap: [AppComponent]
})

export class AppModule { }

Step 3: Update TS File

Now we have to use this write code for HttpClient and HttpHeaders. So let's updated code as like bellow:

src/app/app.component.ts

import { Component } from '@angular/core';
import { HttpClient, HttpParams } from '@angular/common/http';
  
@Component({
  selector: 'app-root',
  templateUrl: './app.component.html',
  styleUrls: ['./app.component.css']
})
export class AppComponent {
  title = 'fullcal';
  
  /*------------------------------------------
  --------------------------------------------
  Define constructor
  --------------------------------------------
  --------------------------------------------*/
  constructor(private http: HttpClient) {}
  
  /*------------------------------------------
  --------------------------------------------
  Define ngOnInit()
  --------------------------------------------
  --------------------------------------------*/
  ngOnInit() {
  
    let auth_token = "asasa21212....";
  
    let params = new HttpParams();
    params = params.append('_page', 1);
    params = params.append('_limit', 10);
  
    const requestOptions = { params: params };
      
    this.http
        .get('http://localhost:8001/events.php', requestOptions)
        .subscribe((res: any) => {
            console.log(res);
        });

  }
}

Step 4: Create API

Here, we will create simple php file call events.php and return two events as json. so let's create file and run php app.

events.php

<?php
  
header("Access-Control-Allow-Origin: *");
header("Access-Control-Allow-Methods: PUT, GET, POST");
header("Access-Control-Allow-Headers: Origin, X-Requested-With, Content-Type, Accept, Authorization");
  
$parameters = $_GET;
echo json_encode($parameters);

Now, you have to run this file using bellow command:

php -S localhost:8001

Run Angular App:

All the required steps have been done, now you have to type the given below command and hit enter to run the Angular app:

ng serve

Now, Go to your web browser, type the given URL and view the app output:

http://localhost:4200

I hope it can help you...

Source: https://www.itsolutionstuff.com/post/how-to-use-httpparams-in-angular-13example.html

#http #params #angular

How to Pass Parameters using HttpParams in Angular App

Jamar Hodkiewicz

1656482820

Cakephp-adapter: CakePHP Adapter for HTTPlug

CakePHP Adapter

HTTPlug adapter for the CakePHP HTTP library.

This branch is for use with CakePHP 4.0+.

Install

Via Composer

$ composer require php-http/cakephp-adapter

Usage

Testing

Start the development server using

vendor/bin/http_test_server

Then run the test suite using

$ composer test

Contributing

Please see our contributing guide.

Security

If you discover any security related issues, please contact us at security@php-http.org.

Author: php-http
Source Code: https://github.com/php-http/cakephp-adapter
License: MIT license

#php #cakephp #http

Cakephp-adapter: CakePHP Adapter for HTTPlug

Berta Escamilla

1656356400

Cómo Crear Un Script De Raspado Web Asíncrono En Node Con Cheerio

En esta sencilla guía, descubrirá cómo crear un script de extracción de sitios web asíncrono en la aplicación node js utilizando las bibliotecas cheerio, pretty y Axios.

Idealmente, el web scraping es el proceso de extraer contenido y datos útiles de un sitio web. El raspado web generalmente se usa en varios negocios digitales que dependen de la recolección de datos.

Esta publicación describirá paso a paso cómo crear una mini herramienta de web scraping con Node js, cliente Axios, paquete cheerio.

Después de asimilar todas las instrucciones mencionadas en esta guía, se familiarizará con el raspado de datos web en un entorno de nodos.

Comencemos a crear el script de raspador web de Cheerio y comprendamos cómo usar Cheerio en el nodo js para eliminar datos de una categoría específica del sitio web de un libro.

Cómo crear un script de raspado web asíncrono en Node con Cheerio

Paso 1: Crear proyecto de nodo
Paso 2: agregue los módulos Cheerio y Pretty
Paso 2: agregue el paquete Axios
Paso 3: Crear archivo de servidor
Paso 4: Cree un script de Web Scrape
Paso 5: Ejecute el script de raspado

Crear proyecto de nodo

En el primer paso, debe asegurarse de haber creado una carpeta vacía.

Así es como puede generar una nueva carpeta usando el comando dado.

mkdir node-lab

Entra en la carpeta del proyecto.

cd node-lab

Ahora, después de ingresar a la carpeta del proyecto, ejecute el comando sugerido. Asegúrese de proporcionar toda la información solicitada por la herramienta de línea de comandos.

npm init

Agregar módulos Cheerio y Pretty

Además, debe abrir la terminal nuevamente y ejecutar el comando dado para instalar juntos los paquetes Cheerio y Pretty.

npm install cheerio pretty

Agregar paquete Axios

En este paso, debe instalar el cliente HTTP de Axios para realizar una solicitud HTTP asíncrona con referencia a la herramienta web scraper.

npm install axios

Crear archivo de servidor

A continuación, cree un archivo server.js , en este archivo agregaremos el código para formar el script de web scraping.

Ahora, diríjase a package.json y agregue el nombre del archivo server.js además de la etiqueta del script.

...  
...  
"scripts": {
    "start": "node server.js"
  },
...  
...

Crear secuencia de comandos de raspado web

Para extraer los datos del sitio web, estamos utilizando un sitio ficticio que no se molesta si extrae sus datos.

Copie el siguiente código y péguelo en el archivo server.js .

const fs = require('fs')
const cheerio = require('cheerio')
const axios = require('axios')
const API =
  'http://books.toscrape.com/catalogue/category/books/mystery_3/index.html'
const scrapperScript = async () => {
  try {
    const { data } = await axios.get(API)
    const $ = cheerio.load(data)
    const DataBooks = $('.row li .product_pod')
    const scrapedData = []
    DataBooks.each((index, el) => {
      const scrapItem = { title: '', price: '' }
      scrapItem.title = $(el).children('h3').text()
      scrapItem.price = $(el)
        .children('.product_price')
        .children('p.price_color')
        .text()
      scrapedData.push(scrapItem)
    })
    console.dir(scrapedData)
    fs.writeFile(
      'scrapedBooks.json',
      JSON.stringify(scrapedData, null, 2),
      (e) => {
        if (e) {
          console.log(e)
          return
        }
        console.log('Scraping completed.')
      },
    )
  } catch (error) {
    console.error(error)
  }
}
scrapperScript()

Ejecutar secuencia de comandos de raspado

Ahora estamos listos para extraer los datos del sitio web. Vaya a la terminal, escriba el comando de nodo y presione enter.

node server.js

Después de ejecutar el comando, verá los datos extraídos en la pantalla de la consola, así como en el archivo scrapedBooks.json recién generado en la raíz de su proyecto de nodo.

Node Js Create Web Scraping Script usando Cheerio Tutorial

Conclusión

En esta guía completa, echamos un vistazo al proceso de creación de un script web scraper en el nodo js.

Creamos una aplicación de nodo básica cuyo objetivo principal es extraer datos del sitio web utilizando el mecanismo de nodo.

Obtuvimos los datos de otro sitio web utilizando la solicitud HTTP asíncrona y el complemento Cheerio.

Cheerio analiza el marcado y proporciona una API para atravesar/manipular la estructura de datos resultante.

Fuente: https://www.positronx.io/node-js-create-web-scraping-script-using-cheerio-tutorial/

#cheerio #web #api #http #nodejs

Cómo Crear Un Script De Raspado Web Asíncrono En Node Con Cheerio

Hong Nhung

1656354000

Cách Tạo Tập Lệnh Scraping Web Không đồng Bộ Trong Node Với Cheerio

Trong hướng dẫn đơn giản này, bạn sẽ tìm hiểu cách tạo tập lệnh quét trang web không đồng bộ trong ứng dụng node js bằng cách sử dụng các thư viện cheerio, pretty và Axios.

Lý tưởng nhất, nạo web là quá trình trích xuất nội dung và dữ liệu hữu ích từ một trang web. Công cụ quét web thường được sử dụng trong các doanh nghiệp kỹ thuật số khác nhau phụ thuộc vào việc thu thập dữ liệu.

Bài đăng này sẽ từng bước mô tả cách xây dựng một công cụ quét web mini với Node js, Axios client, gói cheerio.

Sau khi đồng nhất tất cả các hướng dẫn được đề cập trong hướng dẫn này, bạn sẽ quen với việc thu thập dữ liệu web trong môi trường nút.

Hãy để chúng tôi bắt đầu tạo tập lệnh quét web cheerio và hiểu cách sử dụng cheerio trong nút js để thu thập dữ liệu từ một danh mục cụ thể từ một trang web sách.

Cách tạo Tập lệnh Scraping Web không đồng bộ trong Node với Cheerio

Bước 1: Tạo dự án nút
Bước 2: Thêm mô-đun Cheerio và Pretty
Bước 2: Thêm gói Axios
Bước 3: Tạo tệp máy chủ
Bước 4: Xây dựng tập lệnh duyệt web
Bước 5: Chạy Scraping Script

Tạo dự án nút

Trong bước đầu tiên, bạn phải đảm bảo rằng bạn đã tạo một thư mục trống.

Đây là cách bạn có thể tạo một thư mục mới bằng lệnh đã cho.

mkdir node-lab

Vào bên trong thư mục dự án.

cd node-lab

Bây giờ, sau khi nhập vào thư mục dự án, hãy chạy lệnh gợi ý. Đảm bảo cung cấp tất cả thông tin được yêu cầu bởi công cụ dòng lệnh.

npm init

Thêm mô-đun Cheerio và Pretty

Hơn nữa, bạn phải mở lại thiết bị đầu cuối và chạy lệnh đã cho để cài đặt cheerio và các gói đẹp với nhau.

npm install cheerio pretty

Thêm gói Axios

Trong bước này, bạn phải cài đặt ứng dụng khách Axios HTTP để thực hiện một yêu cầu HTTP không đồng bộ có tham chiếu đến công cụ quét web.

npm install axios

Tạo tệp máy chủ

Tiếp theo, tạo một tệp server.js , trong tệp này chúng ta sẽ thêm mã để tạo thành kịch bản quét web.

Bây giờ, hãy truy cập package.json và thêm tên tệp server.js bên cạnh thẻ script.

...  
...  
"scripts": {
    "start": "node server.js"
  },
...  
...

Xây dựng tập lệnh duyệt web

Để thu thập dữ liệu từ trang web, chúng tôi đang sử dụng một trang web giả mà bạn không bận tâm nếu bạn thu thập dữ liệu của họ.

Sao chép mã sau và dán vào tệp server.js .

const fs = require('fs')
const cheerio = require('cheerio')
const axios = require('axios')
const API =
  'http://books.toscrape.com/catalogue/category/books/mystery_3/index.html'
const scrapperScript = async () => {
  try {
    const { data } = await axios.get(API)
    const $ = cheerio.load(data)
    const DataBooks = $('.row li .product_pod')
    const scrapedData = []
    DataBooks.each((index, el) => {
      const scrapItem = { title: '', price: '' }
      scrapItem.title = $(el).children('h3').text()
      scrapItem.price = $(el)
        .children('.product_price')
        .children('p.price_color')
        .text()
      scrapedData.push(scrapItem)
    })
    console.dir(scrapedData)
    fs.writeFile(
      'scrapedBooks.json',
      JSON.stringify(scrapedData, null, 2),
      (e) => {
        if (e) {
          console.log(e)
          return
        }
        console.log('Scraping completed.')
      },
    )
  } catch (error) {
    console.error(error)
  }
}
scrapperScript()

Chạy Scraping Script

Bây giờ chúng tôi đã sẵn sàng để lấy dữ liệu từ trang web. Đi tới thiết bị đầu cuối, nhập lệnh nút và nhấn enter.

node server.js

Sau khi chạy lệnh, bạn sẽ thấy dữ liệu được trích xuất trên màn hình bảng điều khiển cũng như trong tệp scrapedBooks.json mới được tạo trong thư mục gốc của dự án nút của bạn.

Node Js Tạo Web Scraping Script bằng Cheerio Tutorial

Sự kết luận

Trong hướng dẫn toàn diện này, chúng ta đã xem xét quá trình tạo tập lệnh quét web trong nút js.

Chúng tôi đã tạo một ứng dụng nút cơ bản có mục tiêu chính là trích xuất dữ liệu từ trang web bằng cơ chế nút.

Chúng tôi đã lấy dữ liệu từ trang web khác bằng cách sử dụng yêu cầu HTTP không đồng bộ và plugin Cheerio.

Cheerio phân tích cú pháp đánh dấu và cung cấp một API để duyệt / thao tác cấu trúc dữ liệu kết quả.

Nguồn: https://www.positronx.io/node-js-create-web-scraping-script-using-cheerio-tutorial/

#cheerio #web #api #http #nodejs

Cách Tạo Tập Lệnh Scraping Web Không đồng Bộ Trong Node Với Cheerio

曾俊

1656352800

如何使用 Cheerio 在 Node 中构建异步 Web 抓取脚本

在这个简单的指南中，您将了解如何使用 Cheerio、pretty 和 Axios 库在节点 js 应用程序中创建异步网站抓取脚本。

理想情况下，网络抓取是从网站中提取内容和有用数据的过程。网络抓取通常用于依赖数据收集的各种数字业务。

这篇文章将逐步描述如何使用 Node js、Axios 客户端、cheerio 包构建一个迷你网页抓取工具。

在吸收了本指南中提到的所有说明后，您将熟悉在节点环境中抓取 Web 数据。

让我们开始创建cheerio web scraper 脚本，了解如何在node js 中使用cheerio 从图书网站中抓取特定类别的数据。

如何使用 Cheerio 在 Node 中构建异步 Web 抓取脚本

第 1 步：创建节点项目
第 2 步：添加 Cheerio 和 Pretty 模块
第 2 步：添加 Axios 包
第 3 步：创建服务器文件
第 4 步：构建 Web 抓取脚本
第 5 步：运行抓取脚本

创建节点项目

在第一步中，您必须确保创建了一个空文件夹。

这是使用给定命令生成新文件夹的方法。

mkdir node-lab

进入项目文件夹。

cd node-lab

现在，进入项目文件夹后，运行建议的命令。确保提供命令行工具询问的所有信息。

npm init

添加 Cheerio 和 Pretty 模块

此外，您必须再次打开终端并运行给定的命令以一起安装cheerio 和漂亮的软件包。

npm install cheerio pretty

添加 axios 包

在此步骤中，您必须安装 Axios HTTP 客户端，以参考网络爬虫工具发出异步 HTTP 请求。

npm install axios

创建服务器文件

接下来，创建一个server.js文件，在这个文件中我们将添加代码来形成网页抓取脚本。

现在，转到package.json并将 server.js 文件名附加到脚本标记之外。

...  
...  
"scripts": {
    "start": "node server.js"
  },
...  
...

构建网络爬虫脚本

为了从网站上抓取数据，我们使用的是一个虚拟网站，如果您抓取他们的数据，它不会打扰。

复制以下代码并粘贴到server.js文件中。

const fs = require('fs')
const cheerio = require('cheerio')
const axios = require('axios')
const API =
  'http://books.toscrape.com/catalogue/category/books/mystery_3/index.html'
const scrapperScript = async () => {
  try {
    const { data } = await axios.get(API)
    const $ = cheerio.load(data)
    const DataBooks = $('.row li .product_pod')
    const scrapedData = []
    DataBooks.each((index, el) => {
      const scrapItem = { title: '', price: '' }
      scrapItem.title = $(el).children('h3').text()
      scrapItem.price = $(el)
        .children('.product_price')
        .children('p.price_color')
        .text()
      scrapedData.push(scrapItem)
    })
    console.dir(scrapedData)
    fs.writeFile(
      'scrapedBooks.json',
      JSON.stringify(scrapedData, null, 2),
      (e) => {
        if (e) {
          console.log(e)
          return
        }
        console.log('Scraping completed.')
      },
    )
  } catch (error) {
    console.error(error)
  }
}
scrapperScript()

运行抓取脚本

我们现在准备从网站上提取数据。转到终端，键入节点命令并按回车键。

node server.js

运行命令后，您将在控制台屏幕以及节点项目根目录中新生成的scrapedBooks.json文件中看到提取的数据。

Node Js 使用 Cheerio 教程创建网页抓取脚本

结论

在本综合指南中，我们了解了在 node js 中制作网络爬虫脚本的过程。

我们创建了一个基本的节点应用程序，其主要目标是使用节点机制从网站中提取数据。

我们使用异步 HTTP 请求和 Cheerio 插件从其他网站提取数据。

Cheerio 解析标记并提供用于遍历/操作结果数据结构的 API。

来源：https ://www.positronx.io/node-js-create-web-scraping-script-using-cheerio-tutorial/

#cheerio #web #api #http #nodejs

Verónica Batista

1656351600

Como Criar Script De Raspagem Da Web Assíncrono No Nó Com Cheerio

Neste guia simples, você descobrirá como criar um script de raspagem de site assíncrono no aplicativo node js usando as bibliotecas cheerio, pretty e Axios.

Idealmente, a raspagem da web é o processo de extração de conteúdo e dados úteis de um site. A raspagem da Web é normalmente usada em vários negócios digitais que dependem da coleta de dados.

Este post irá descrever passo a passo como construir uma mini ferramenta de web scraping com Node js, cliente Axios, pacote cheerio.

Depois de assimilar todas as instruções mencionadas neste guia, você estará familiarizado com a extração de dados da Web em um ambiente de nó.

Vamos começar a criar o script de raspador da web cheerio e compreender como usar cheerio no node js para extrair dados de uma categoria específica de um site de livros.

Como criar script de raspagem da Web assíncrono no nó com Cheerio

Etapa 1: criar projeto de nó
Etapa 2: adicione os módulos Cheerio e Pretty
Etapa 2: adicionar o pacote Axios
Etapa 3: criar arquivo de servidor
Etapa 4: criar um script de raspagem da Web
Etapa 5: executar o script de raspagem

Criar projeto de nó

Na primeira etapa, você deve garantir que criou uma pasta vazia.

Aqui está como você pode gerar uma nova pasta usando o comando fornecido.

mkdir node-lab

Entre na pasta do projeto.

cd node-lab

Agora, depois de entrar na pasta do projeto, execute o comando sugerido. Certifique-se de fornecer todas as informações solicitadas pela ferramenta de linha de comando.

npm init

Adicionar módulos Cheerio e Pretty

Além disso, você precisa abrir o terminal novamente e executar o comando fornecido para instalar os pacotes cheerio e pretty juntos.

npm install cheerio pretty

Adicionar pacote Axios

Nesta etapa, você deve instalar o cliente HTTP Axios para fazer uma solicitação HTTP assíncrona com referência à ferramenta web scraper.

npm install axios

Criar arquivo do servidor

Em seguida, crie um arquivo server.js , neste arquivo iremos adicionar o código para formar o script de web scraping.

Agora, vá para package.json e anexe o nome do arquivo server.js além da tag de script.

...  
...  
"scripts": {
    "start": "node server.js"
  },
...  
...

Criar script de raspagem da Web

Para raspar os dados do site, estamos usando um site fictício que não se incomoda se você raspar seus dados.

Copie o código a seguir e cole no arquivo server.js .

const fs = require('fs')
const cheerio = require('cheerio')
const axios = require('axios')
const API =
  'http://books.toscrape.com/catalogue/category/books/mystery_3/index.html'
const scrapperScript = async () => {
  try {
    const { data } = await axios.get(API)
    const $ = cheerio.load(data)
    const DataBooks = $('.row li .product_pod')
    const scrapedData = []
    DataBooks.each((index, el) => {
      const scrapItem = { title: '', price: '' }
      scrapItem.title = $(el).children('h3').text()
      scrapItem.price = $(el)
        .children('.product_price')
        .children('p.price_color')
        .text()
      scrapedData.push(scrapItem)
    })
    console.dir(scrapedData)
    fs.writeFile(
      'scrapedBooks.json',
      JSON.stringify(scrapedData, null, 2),
      (e) => {
        if (e) {
          console.log(e)
          return
        }
        console.log('Scraping completed.')
      },
    )
  } catch (error) {
    console.error(error)
  }
}
scrapperScript()

Executar script de raspagem

Agora estamos prontos para extrair os dados do site. Vá para o terminal, digite o comando node e pressione enter.

node server.js

Depois de executar o comando, você verá os dados extraídos na tela do console, bem como no arquivo scrapedBooks.json recém-gerado na raiz do projeto do nó.

Node Js cria script de raspagem da Web usando o tutorial Cheerio

Conclusão

Neste guia abrangente, vimos o processo de criação de um script de raspagem da web no nó js.

Criamos um aplicativo de nó básico cujo objetivo principal é extrair dados do site usando o mecanismo de nó.

Extraímos os dados de outro site usando a solicitação HTTP assíncrona e o plug-in Cheerio.

Cheerio analisa a marcação e fornece uma API para percorrer/manipular a estrutura de dados resultante.

Fonte: https://www.positronx.io/node-js-create-web-scraping-script-using-cheerio-tutorial/

#cheerio #web #api #http #nodejs

Como Criar Script De Raspagem Da Web Assíncrono No Nó Com Cheerio

渡辺あすか

1656350400

Cheerioを使用してノードで非同期Webスクレイピングスクリプトを構築する

この簡単なガイドでは、cheerio、pretty、およびAxiosライブラリを使用して、ノードjsアプリケーションで非同期Webサイトスクレイピングスクリプトを作成する方法を説明します。

理想的には、Webスクレイピングは、Webサイトからコンテンツと有用なデータを抽出するプロセスです。Webスクレイピングは通常、データ収集に依存するさまざまなデジタルビジネスで使用されます。

この投稿では、Node js、Axiosクライアント、cheerioパッケージを使用してミニWebスクレイピングツールを構築する方法を段階的に説明します。

このガイドに記載されているすべての手順を理解すると、ノード環境でWebデータをスクレイピングすることに慣れることができます。

cheerio Webスクレイパースクリプトの作成を開始し、ノードjsでcheerioを使用して、本のWebサイトから特定のカテゴリのデータをスクラップする方法を理解しましょう。

Cheerioを使用してノードで非同期Webスクレイピングスクリプトを構築する方法

ステップ1：ノードプロジェクトを作成する
ステップ2： CheerioモジュールとPrettyモジュールを追加する
ステップ2： Axiosパッケージを追加する
ステップ3：サーバーファイルを作成する
ステップ4： Webスクレイピングスクリプトを作成する
ステップ5：スクレイピングスクリプトを実行する

ノードプロジェクトの作成

最初のステップでは、空のフォルダーを作成したことを確認する必要があります。

指定されたコマンドを使用して新しいフォルダを生成する方法は次のとおりです。

mkdir node-lab

プロジェクトフォルダ内に入ります。

cd node-lab

ここで、プロジェクトフォルダーに入った後、提案されたコマンドを実行します。コマンドラインツールによって要求されるすべての情報を提供するようにしてください。

npm init

CheerioとPrettyモジュールを追加する

さらに、ターミナルを再度開き、指定されたコマンドを実行して、cheerioパッケージとprettyパッケージを一緒にインストールする必要があります。

npm install cheerio pretty

Axiosパッケージを追加

このステップでは、Webスクレイパーツールを参照して非同期HTTPリクエストを作成するためのAxiosHTTPクライアントをインストールする必要があります。

npm install axios

サーバーファイルの作成

次に、server.jsファイルを作成します。このファイルに、Webスクレイピングスクリプトを作成するためのコードを追加します。

次に、package.jsonに移動し、scriptタグのほかにserver.jsファイル名を追加します。

...  
...  
"scripts": {
    "start": "node server.js"
  },
...  
...

Webスクレイピングスクリプトを作成する

ウェブサイトからデータをスクレイピングするために、データをスクレイピングしても気にならないダミーサイトを使用しています。

次のコードをコピーして、server.jsファイルに貼り付けます。

const fs = require('fs')
const cheerio = require('cheerio')
const axios = require('axios')
const API =
  'http://books.toscrape.com/catalogue/category/books/mystery_3/index.html'
const scrapperScript = async () => {
  try {
    const { data } = await axios.get(API)
    const $ = cheerio.load(data)
    const DataBooks = $('.row li .product_pod')
    const scrapedData = []
    DataBooks.each((index, el) => {
      const scrapItem = { title: '', price: '' }
      scrapItem.title = $(el).children('h3').text()
      scrapItem.price = $(el)
        .children('.product_price')
        .children('p.price_color')
        .text()
      scrapedData.push(scrapItem)
    })
    console.dir(scrapedData)
    fs.writeFile(
      'scrapedBooks.json',
      JSON.stringify(scrapedData, null, 2),
      (e) => {
        if (e) {
          console.log(e)
          return
        }
        console.log('Scraping completed.')
      },
    )
  } catch (error) {
    console.error(error)
  }
}
scrapperScript()

スクレイピングスクリプトを実行する

これで、Webサイトからデータを取得する準備が整いました。ターミナルに移動し、ノードコマンドを入力して、Enterキーを押します。

node server.js

コマンドを実行すると、抽出されたデータがコンソール画面と、ノードプロジェクトのルートに新しく生成されたscrapedBooks.jsonファイルに表示されます。

Node Jsは、Cheerioチュートリアルを使用してWebスクレイピングスクリプトを作成します

結論

この包括的なガイドでは、ノードjsでWebスクレイパースクリプトを作成するプロセスについて説明しました。

ノードメカニズムを使用してウェブサイトからデータを抽出することを主な目的とする基本的なノードアプリを作成しました。

非同期HTTPリクエストとCheerioプラグインを使用して、他のWebサイトからデータを取得しました。

Cheerioはマークアップを解析し、結果のデータ構造をトラバース/操作するためのAPIを提供します。

ソース：https ：//www.positronx.io/node-js-create-web-scraping-script-using-cheerio-tutorial/

#cheerio #web #api #http #nodejs

Thierry Perret

1656349200

Créer Un Script De Scraping Web Asynchrone Dans Node Avec Cheerio

Dans ce guide simple, vous découvrirez comment créer un script de grattage de site Web asynchrone dans l'application node js à l'aide des bibliothèques cheerio, pretty et Axios.

Idéalement, le web scraping est le processus d'extraction de contenu et de données utiles d'un site web. Le scraping Web est généralement utilisé dans diverses entreprises numériques qui dépendent de la collecte de données.

Cet article décrira étape par étape comment créer un mini outil de grattage Web avec Node js, client Axios, package cheerio.

Après avoir assimilé toutes les instructions mentionnées dans ce guide, vous serez familiarisé avec le grattage des données Web dans un environnement de nœud.

Commençons à créer le script de scraper Web cheerio et comprenons comment utiliser cheerio dans node js pour supprimer les données d'une catégorie spécifique à partir d'un site Web de livre.

Comment créer un script de scraping Web asynchrone dans Node avec Cheerio

Étape 1 : Créer un projet de nœud
Étape 2 : Ajouter les modules Cheerio et Pretty
Étape 2 : Ajouter le package Axios
Étape 3 : Créer un fichier de serveur
Étape 4 : Créer un script de grattage Web
Étape 5 : Exécuter le script de grattage

Créer un projet de nœud

Dans un premier temps, vous devez vous assurer que vous avez créé un dossier vide.

Voici comment vous pouvez générer un nouveau dossier à l'aide de la commande donnée.

mkdir node-lab

Entrez dans le dossier du projet.

cd node-lab

Maintenant, après être entré dans le dossier du projet, exécutez la commande suggérée. Assurez-vous de fournir toutes les informations demandées par l'outil de ligne de commande.

npm init

Ajouter les modules Cheerio et Pretty

De plus, vous devez rouvrir le terminal et exécuter la commande donnée pour installer ensemble les packages cheerio et pretty.

npm install cheerio pretty

Ajouter un package Axios

Dans cette étape, vous devez installer le client HTTP Axios pour effectuer une requête HTTP asynchrone en référence à l'outil Web Scraper.

npm install axios

Créer un fichier serveur

Ensuite, créez un fichier server.js , dans ce fichier nous ajouterons le code pour former le script de scraping Web.

Maintenant, dirigez-vous vers package.json et ajoutez le nom du fichier server.js en plus de la balise de script.

...  
...  
"scripts": {
    "start": "node server.js"
  },
...  
...

Créer un script de grattage Web

Pour récupérer les données du site Web, nous utilisons un site factice qui ne vous dérange pas si vous récupérez leurs données.

Copiez le code suivant et collez-le dans le fichier server.js .

const fs = require('fs')
const cheerio = require('cheerio')
const axios = require('axios')
const API =
  'http://books.toscrape.com/catalogue/category/books/mystery_3/index.html'
const scrapperScript = async () => {
  try {
    const { data } = await axios.get(API)
    const $ = cheerio.load(data)
    const DataBooks = $('.row li .product_pod')
    const scrapedData = []
    DataBooks.each((index, el) => {
      const scrapItem = { title: '', price: '' }
      scrapItem.title = $(el).children('h3').text()
      scrapItem.price = $(el)
        .children('.product_price')
        .children('p.price_color')
        .text()
      scrapedData.push(scrapItem)
    })
    console.dir(scrapedData)
    fs.writeFile(
      'scrapedBooks.json',
      JSON.stringify(scrapedData, null, 2),
      (e) => {
        if (e) {
          console.log(e)
          return
        }
        console.log('Scraping completed.')
      },
    )
  } catch (error) {
    console.error(error)
  }
}
scrapperScript()

Exécuter le script de grattage

Nous sommes maintenant prêts à extraire les données du site Web. Accédez au terminal, tapez la commande node et appuyez sur Entrée.

node server.js

Après avoir exécuté la commande, vous verrez les données extraites sur l'écran de la console ainsi que dans le fichier scrapedBooks.json nouvellement généré à la racine de votre projet de nœud.

Node Js Créer un script de scraping Web à l'aide du didacticiel Cheerio

Conclusion

Dans ce guide complet, nous avons examiné le processus de création d'un script de scraper Web dans node js.

Nous avons créé une application de nœud de base dont l'objectif principal est d'extraire des données du site Web à l'aide du mécanisme de nœud.

Nous avons extrait les données d'un autre site Web à l'aide de la requête HTTP asynchrone et du plug-in Cheerio.

Cheerio analyse le balisage et fournit une API pour parcourir/manipuler la structure de données résultante.

Source : https://www.positronx.io/node-js-create-web-scraping-script-using-cheerio-tutorial/

#cheerio #web #api #http #nodejs

Créer Un Script De Scraping Web Asynchrone Dans Node Avec Cheerio

Rocio O'Keefe

1656014400

Buxing: an HTTP File Downloader Packed with Many Features

An HTTP file downloader packed with many features -> resumable downloads, multiple connections, buffering, auto-retry, etc.

Features

Resumable downloads.
Supports multiple connections.
Auto buffering for less disk writes.
Auto HTTP connection retry via the builtin RetryClient.

Usage

Install and import this package:

import 'package:buxing/buxing.dart';

A simple task

void main() async {
  var task = Task(
      Uri.parse('https://golang.org/dl/go1.17.3.src.tar.gz'), 'go1.17.3.src.tar.gz');
  await task.start();
}

Progress reporting

Progress events are raised through Task.onProgress:

task.onProgress = (prog) => print(prog.transferred / prog.total);

Multiple connections

To enable multiple connections, set the optional worker param in constructor and pass a ParallelWorker.

var task = Task(Uri.parse('https://golang.org/dl/go1.17.3.src.tar.gz'),
    'go1.17.3.src.tar.gz',
    worker: ParallelWorker()); // A `ParallelWorker` enables multiple connections.

By default ParallelWorker manages concurrency by itself, you can explicitly set the number of concurrent connections:

ParallelWorker(concurrency: 10)

Buffer size

The defaults are, 200 KB for a single-connection task, 50 KB per connection for a multi-connection task.

To set the buffer size:

// Single-connection task
var task = Task(Uri.parse('URL'), 'FILE',
    worker: Worker(bufferSize: 100000)); // 100 KB

// Multi-connection task.
var task = Task(Uri.parse('URL'), 'FILE',
    worker: ParallelWorker(bufferSize: 100000)); // 100 KB

Logging

To enable logging, set the logger field:

var task = Task(Uri.parse('https://golang.org/dl/go1.17.3.src.tar.gz'),
    'downloads/go1.17.3.src.tar.gz',
    logger: Logger(level: LogLevel.info));

Log levels:

enum LogLevel { verbose, info, warning, error }

Installing

Use this package as a library

Depend on it

Run this command:

With Dart:

 $ dart pub add buxing

With Flutter:

 $ flutter pub add buxing

This will add a line like this to your package's pubspec.yaml (and run an implicit dart pub get):

dependencies:
  buxing: ^0.1.4

Alternatively, your editor might support dart pub get or flutter pub get. Check the docs for your editor to learn more.

Import it

Now in your Dart code, you can use:

import 'package:buxing/buxing.dart';

example/example.dart

import 'package:buxing/buxing.dart';

void main() async {
  var task = Task(Uri.parse('https://golang.org/dl/go1.17.3.src.tar.gz'),
      'downloads/go1.17.3.src.tar.gz',
      worker: ParallelWorker(), logger: Logger());
  await task.start();
}

Author: Mgenware
Source Code: https://github.com/mgenware/buxing
License: BSD-3-Clause license

#flutter #dart #http

Buxing: an HTTP File Downloader Packed with Many Features