1652960598
Как сделать монитор использования сети в Python
Узнайте, как объединить библиотеки psutil и Scapy, чтобы создать монитор сетевого трафика для каждого сетевого интерфейса и для каждого процесса в Python.
Вы когда-нибудь хотели создать программу, которая отслеживает использование сети вашей машиной? В этом руководстве мы создадим три скрипта Python, которые отслеживают общее использование сети, использование сети для каждого сетевого интерфейса и использование сети для каждого системного процесса:
- Общее использование сети
- Использование сети на сетевой интерфейс
- Использование сети на процесс
Для начала установим необходимые библиотеки:
$ pip install psutil scapy pandaspsutil— это кроссплатформенная библиотека для получения информации о запущенных процессах, а также информации о системе и оборудовании в Python, мы будем использовать ее для получения сетевой статистики, а также установленных соединений.
1. Общее использование сети
Начиная с самой простой программы; Давайте импортируем psutilи создадим функцию, которая печатает байты в удобном формате:
import psutil
import time
UPDATE_DELAY = 1 # in seconds
def get_size(bytes):
"""
Returns size of bytes in a nice format
"""
for unit in ['', 'K', 'M', 'G', 'T', 'P']:
if bytes < 1024:
return f"{bytes:.2f}{unit}B"
bytes /= 1024Далее мы будем использовать psutil.net_io_counters()функцию, которая возвращает статистику ввода и вывода сети:
# get the network I/O stats from psutil
io = psutil.net_io_counters()
# extract the total bytes sent and received
bytes_sent, bytes_recv = io.bytes_sent, io.bytes_recvТеперь давайте войдем в цикл, который получает ту же статистику, но с задержкой, чтобы мы могли рассчитать скорость загрузки и выгрузки:
while True:
# sleep for `UPDATE_DELAY` seconds
time.sleep(UPDATE_DELAY)
# get the stats again
io_2 = psutil.net_io_counters()
# new - old stats gets us the speed
us, ds = io_2.bytes_sent - bytes_sent, io_2.bytes_recv - bytes_recv
# print the total download/upload along with current speeds
print(f"Upload: {get_size(io_2.bytes_sent)} "
f", Download: {get_size(io_2.bytes_recv)} "
f", Upload Speed: {get_size(us / UPDATE_DELAY)}/s "
f", Download Speed: {get_size(ds / UPDATE_DELAY)}/s ", end="\r")
# update the bytes_sent and bytes_recv for next iteration
bytes_sent, bytes_recv = io_2.bytes_sent, io_2.bytes_recvМы просто вычитаем старую сетевую статистику из новой статистики, чтобы получить скорость, мы также включим общую загруженную и выгруженную статистику. Так как мы хотим, чтобы печать обновлялась в одну строку, а не печаталась в несколько строк, мы передаем символ возврата "\r"в endпараметр в print()функции, чтобы вернуться к началу той же строки после печати. Запустим:
$ python network_usage.pyВывод будет обновляться каждую секунду:
Upload: 19.96MB , Download: 114.03MB , Upload Speed: 4.25KB/s , Download Speed: 207.00B/s И это все! Мы успешно создали быстрый скрипт, чтобы получить общее использование загрузки и выгрузки вместе со скоростью. В следующем разделе мы сделаем то же самое, но покажем использование для каждого интерфейса, это полезно, если вы подключены к нескольким сетям с помощью нескольких сетевых адаптеров.
2. Использование сети на сетевой интерфейс
В этом разделе мы используем тот же метод, что и раньше, но pernicустанавливаем True:
import psutil
import time
import os
import pandas as pd
UPDATE_DELAY = 1 # in seconds
def get_size(bytes):
"""
Returns size of bytes in a nice format
"""
for unit in ['', 'K', 'M', 'G', 'T', 'P']:
if bytes < 1024:
return f"{bytes:.2f}{unit}B"
bytes /= 1024
# get the network I/O stats from psutil on each network interface
# by setting `pernic` to `True`
io = psutil.net_io_counters(pernic=True)Давайте теперь войдем в whileцикл:
while True:
# sleep for `UPDATE_DELAY` seconds
time.sleep(UPDATE_DELAY)
# get the network I/O stats again per interface
io_2 = psutil.net_io_counters(pernic=True)
# initialize the data to gather (a list of dicts)
data = []
for iface, iface_io in io.items():
# new - old stats gets us the speed
upload_speed, download_speed = io_2[iface].bytes_sent - iface_io.bytes_sent, io_2[iface].bytes_recv - iface_io.bytes_recv
data.append({
"iface": iface, "Download": get_size(io_2[iface].bytes_recv),
"Upload": get_size(io_2[iface].bytes_sent),
"Upload Speed": f"{get_size(upload_speed / UPDATE_DELAY)}/s",
"Download Speed": f"{get_size(download_speed / UPDATE_DELAY)}/s",
})
# update the I/O stats for the next iteration
io = io_2
# construct a Pandas DataFrame to print stats in a cool tabular style
df = pd.DataFrame(data)
# sort values per column, feel free to change the column
df.sort_values("Download", inplace=True, ascending=False)
# clear the screen based on your OS
os.system("cls") if "nt" in os.name else os.system("clear")
# print the stats
print(df.to_string())На этот раз psutil.net_io_counters()возвращает словарь каждого интерфейса и соответствующую ему сетевую статистику. Внутри whileцикла мы перебираем этот словарь и делаем те же вычисления, что и раньше.
Поскольку у нас есть несколько строк, мы используем pandasстатистику для печати в виде таблицы и используем clsкоманду в Windows clear, Linux или macOS для очистки экрана перед печатью обновленных результатов.
Чтобы распечатать весь pandasфрейм данных, мы просто вызываем to_string()метод внутри print()функции, и он выполнит свою работу. Запустим:
$ pip install network_usage_per_interface.pyВот результат:
3. Использование сети на процесс
К сожалению, psutilимеет возможность отслеживать только общее использование сети или использование сети для каждого сетевого интерфейса. Чтобы иметь возможность отслеживать использование каждого процесса, мы должны использовать еще одну библиотеку, и это Scapy.
Scapy — это мощный инструмент для манипулирования пакетами, который дает нам возможность прослушивать исходящие и входящие пакеты на нашей машине. Ознакомьтесь с нашими руководствами , если вы хотите узнать больше о его использовании.
На этот раз мы будем использовать psutilбиблиотеку для получения текущих сетевых подключений и извлечения портов источника и назначения, а также идентификатора процесса (PID), который отвечает за подключение.
Затем мы сопоставляем эту информацию при анализе пакетов с помощью Scapy и помещаем статистику трафика в соответствующий PID. Давайте начнем:
from scapy.all import *
import psutil
from collections import defaultdict
import os
from threading import Thread
import pandas as pd
# get the all network adapter's MAC addresses
all_macs = {iface.mac for iface in ifaces.values()}
# A dictionary to map each connection to its correponding process ID (PID)
connection2pid = {}
# A dictionary to map each process ID (PID) to total Upload (0) and Download (1) traffic
pid2traffic = defaultdict(lambda: [0, 0])
# the global Pandas DataFrame that's used to track previous traffic stats
global_df = None
# global boolean for status of the program
is_program_running = True
def get_size(bytes):
"""
Returns size of bytes in a nice format
"""
for unit in ['', 'K', 'M', 'G', 'T', 'P']:
if bytes < 1024:
return f"{bytes:.2f}{unit}B"
bytes /= 1024После того, как мы импортируем необходимые библиотеки, мы инициализируем наши глобальные переменные, которые будут использоваться в наших следующих функциях:
all_macs— это набор Python, который содержит MAC-адреса всех сетевых интерфейсов на нашей машине.connection2pid— это словарь Python, который отображает каждое соединение (представленное как исходный и целевой порты на уровне TCP/UDP).pid2traffic— это еще один словарь, который сопоставляет каждый идентификатор процесса (PID) со списком из двух значений, представляющих трафик загрузки и загрузки.global_dfэто кадр данных Pandas, который используется для хранения предыдущих данных о трафике (чтобы мы могли рассчитать использование).is_program_runningявляется просто логическим значением, то есть, если установлено значениеFalse, программа остановится и выйдет.
Если вы не знакомы со Scapy, то для того, чтобы иметь возможность прослушивать пакеты, мы должны использовать sniff()функцию, предоставляемую этой библиотекой. Эта функция принимает несколько параметров, одним из важных является обратный вызов, который вызывается при каждом захвате пакета. Прежде чем мы вызовем sniff(), давайте сделаем наш обратный вызов:
def process_packet(packet):
global pid2traffic
try:
# get the packet source & destination IP addresses and ports
packet_connection = (packet.sport, packet.dport)
except (AttributeError, IndexError):
# sometimes the packet does not have TCP/UDP layers, we just ignore these packets
pass
else:
# get the PID responsible for this connection from our `connection2pid` global dictionary
packet_pid = connection2pid.get(packet_connection)
if packet_pid:
if packet.src in all_macs:
# the source MAC address of the packet is our MAC address
# so it's an outgoing packet, meaning it's upload
pid2traffic[packet_pid][0] += len(packet)
else:
# incoming packet, download
pid2traffic[packet_pid][1] += len(packet)Обратный process_packet()вызов принимает пакет в качестве аргумента. Если в пакете есть уровни TCP или UDP, он извлекает порты источника и назначения и пытается использовать connection2pidсловарь, чтобы получить PID, отвечающий за это соединение. Если он его находит и если исходный MAC-адрес является одним из MAC-адресов машины, то он добавляет размер пакета к загружаемому трафику. В противном случае он добавляется к загружаемому трафику.
Далее сделаем функцию, отвечающую за получение соединений:
def get_connections():
"""A function that keeps listening for connections on this machine
and adds them to `connection2pid` global variable"""
global connection2pid
while is_program_running:
# using psutil, we can grab each connection's source and destination ports
# and their process ID
for c in psutil.net_connections():
if c.laddr and c.raddr and c.pid:
# if local address, remote address and PID are in the connection
# add them to our global dictionary
connection2pid[(c.laddr.port, c.raddr.port)] = c.pid
connection2pid[(c.raddr.port, c.laddr.port)] = c.pid
# sleep for a second, feel free to adjust this
time.sleep(1)The above function is the one accountable for filling the connection2pid global variable that is used in the process_packet() function. Of course, the connections can be made at any second, that's why we keep listening for connections every second or so in a loop.
Next, writing the function that calculates the network usage and prints our collected data:
def print_pid2traffic():
global global_df
# initialize the list of processes
processes = []
for pid, traffic in pid2traffic.items():
# `pid` is an integer that represents the process ID
# `traffic` is a list of two values: total Upload and Download size in bytes
try:
# get the process object from psutil
p = psutil.Process(pid)
except psutil.NoSuchProcess:
# if process is not found, simply continue to the next PID for now
continue
# get the name of the process, such as chrome.exe, etc.
name = p.name()
# get the time the process was spawned
try:
create_time = datetime.fromtimestamp(p.create_time())
except OSError:
# system processes, using boot time instead
create_time = datetime.fromtimestamp(psutil.boot_time())
# construct our dictionary that stores process info
process = {
"pid": pid, "name": name, "create_time": create_time, "Upload": traffic[0],
"Download": traffic[1],
}
try:
# calculate the upload and download speeds by simply subtracting the old stats from the new stats
process["Upload Speed"] = traffic[0] - global_df.at[pid, "Upload"]
process["Download Speed"] = traffic[1] - global_df.at[pid, "Download"]
except (KeyError, AttributeError):
# If it's the first time running this function, then the speed is the current traffic
# You can think of it as if old traffic is 0
process["Upload Speed"] = traffic[0]
process["Download Speed"] = traffic[1]
# append the process to our processes list
processes.append(process)
# construct our Pandas DataFrame
df = pd.DataFrame(processes)
try:
# set the PID as the index of the dataframe
df = df.set_index("pid")
# sort by column, feel free to edit this column
df.sort_values("Download", inplace=True, ascending=False)
except KeyError as e:
# when dataframe is empty
pass
# make another copy of the dataframe just for fancy printing
printing_df = df.copy()
try:
# apply the function get_size to scale the stats like '532.6KB/s', etc.
printing_df["Download"] = printing_df["Download"].apply(get_size)
printing_df["Upload"] = printing_df["Upload"].apply(get_size)
printing_df["Download Speed"] = printing_df["Download Speed"].apply(get_size).apply(lambda s: f"{s}/s")
printing_df["Upload Speed"] = printing_df["Upload Speed"].apply(get_size).apply(lambda s: f"{s}/s")
except KeyError as e:
# when dataframe is empty again
pass
# clear the screen based on your OS
os.system("cls") if "nt" in os.name else os.system("clear")
# print our dataframe
print(printing_df.to_string())
# update the global df to our dataframe
global_df = dfThe above function iterates over the pid2traffic dictionary, and tries to get the process object using psutil so it can get the name and creation time of the process using the name() and create_time() methods, respectively.
После того, как мы создадим наш processсловарь, который содержит большую часть необходимой нам информации о процессе, включая общее использование, мы используем global_dfего для получения предыдущего общего использования, а затем вычисляем текущую скорость загрузки и выгрузки, используя это. После этого мы добавляем это processв наш processesсписок и преобразуем в pandasфрейм данных для печати.
Прежде чем мы напечатаем кадр данных, мы можем внести некоторые изменения, такие как сортировка по "Download"использованию, а также применить get_size()служебную функцию для печати байтов в удобном масштабируемом формате.
Давайте создадим еще одну функцию, которая вызывает вышеуказанную функцию каждую секунду:
def print_stats():
"""Simple function that keeps printing the stats"""
while is_program_running:
time.sleep(1)
print_pid2traffic()Итак, теперь у нас есть две функции, которые продолжают работать в отдельных потоках, одна из которых описана выше, print_stats()а вторая — из get_connections(). Сделаем основной код:
if __name__ == "__main__":
# start the printing thread
printing_thread = Thread(target=print_stats)
printing_thread.start()
# start the get_connections() function to update the current connections of this machine
connections_thread = Thread(target=get_connections)
connections_thread.start()Наконец, давайте начнем обнюхивать, используя sniff()функцию Scapy:
# start sniffing
print("Started sniffing")
sniff(prn=process_packet, store=False)
# setting the global variable to False to exit the program
is_program_running = False Мы передаем нашу ранее определенную process_packet()функцию в prnаргумент и устанавливаем store, чтобы Falseмы не сохраняли захваченные пакеты в памяти.
Мы просто устанавливаем is_program_runningзначение Falseвсякий раз, когда выходим из sniff()функции по любой причине (включая нажатие CTRL+C). Теперь запустим нашу программу:
$ python network_usage_per_process.pyВот результат:
Примечание. Этот код может содержать проблемы и ошибки, вы можете комментировать или предлагать какие-либо изменения, если обнаружите какую-либо проблему.
Вывод
Отлично, теперь у вас есть три программы для мониторинга использования сети, не стесняйтесь редактировать и использовать код по своему усмотрению, например, обновлять UPDATE_DELAYили изменять столбец сортировки или что-то еще.
Кроме того, вы можете многое сделать psutil, вы можете создать монитор процесса или извлечь различную информацию о системе и оборудовании на вашем компьютере, посмотрите учебные пособия, если вам интересно, как это сделать.
Получите полный код для трех программ здесь .
Оригинальный источник статьи на https://www.thepythoncode.com
#python
What is GEEK
Buddha Community
1626775355
Why use Python for Software Development
No programming language is pretty much as diverse as Python. It enables building cutting edge applications effortlessly. Developers are as yet investigating the full capability of end-to-end Python development services in various areas.
By areas, we mean FinTech, HealthTech, InsureTech, Cybersecurity, and that's just the beginning. These are New Economy areas, and Python has the ability to serve every one of them. The vast majority of them require massive computational abilities. Python's code is dynamic and powerful - equipped for taking care of the heavy traffic and substantial algorithmic capacities.
Programming advancement is multidimensional today. Endeavor programming requires an intelligent application with AI and ML capacities. Shopper based applications require information examination to convey a superior client experience. Netflix, Trello, and Amazon are genuine instances of such applications. Python assists with building them effortlessly.
5 Reasons to Utilize Python for Programming Web Apps
Python can do such numerous things that developers can't discover enough reasons to admire it. Python application development isn't restricted to web and enterprise applications. It is exceptionally adaptable and superb for a wide range of uses.
Robust frameworks
Python is known for its tools and frameworks. There's a structure for everything. Django is helpful for building web applications, venture applications, logical applications, and mathematical processing. Flask is another web improvement framework with no conditions.
Web2Py, CherryPy, and Falcon offer incredible capabilities to customize Python development services. A large portion of them are open-source frameworks that allow quick turn of events.
Simple to read and compose
Python has an improved sentence structure - one that is like the English language. New engineers for Python can undoubtedly understand where they stand in the development process. The simplicity of composing allows quick application building.
The motivation behind building Python, as said by its maker Guido Van Rossum, was to empower even beginner engineers to comprehend the programming language. The simple coding likewise permits developers to roll out speedy improvements without getting confused by pointless subtleties.
Utilized by the best
Alright - Python isn't simply one more programming language. It should have something, which is the reason the business giants use it. Furthermore, that too for different purposes. Developers at Google use Python to assemble framework organization systems, parallel information pusher, code audit, testing and QA, and substantially more. Netflix utilizes Python web development services for its recommendation algorithm and media player.
Massive community support
Python has a steadily developing community that offers enormous help. From amateurs to specialists, there's everybody. There are a lot of instructional exercises, documentation, and guides accessible for Python web development solutions.
Today, numerous universities start with Python, adding to the quantity of individuals in the community. Frequently, Python designers team up on various tasks and help each other with algorithmic, utilitarian, and application critical thinking.
Progressive applications
Python is the greatest supporter of data science, Machine Learning, and Artificial Intelligence at any enterprise software development company. Its utilization cases in cutting edge applications are the most compelling motivation for its prosperity. Python is the second most well known tool after R for data analytics.
The simplicity of getting sorted out, overseeing, and visualizing information through unique libraries makes it ideal for data based applications. TensorFlow for neural networks and OpenCV for computer vision are two of Python's most well known use cases for Machine learning applications.
Summary
Thinking about the advances in programming and innovation, Python is a YES for an assorted scope of utilizations. Game development, web application development services, GUI advancement, ML and AI improvement, Enterprise and customer applications - every one of them uses Python to its full potential.
The disadvantages of Python web improvement arrangements are regularly disregarded by developers and organizations because of the advantages it gives. They focus on quality over speed and performance over blunders. That is the reason it's a good idea to utilize Python for building the applications of the future.
#python development services #python development company #python app development #python development #python in web development #python software development
1602968400
Python Tricks Every Developer Should Know
Python is awesome, it’s one of the easiest languages with simple and intuitive syntax but wait, have you ever thought that there might ways to write your python code simpler?
In this tutorial, you’re going to learn a variety of Python tricks that you can use to write your Python code in a more readable and efficient way like a pro.
Let’s get started
Swapping value in Python
Instead of creating a temporary variable to hold the value of the one while swapping, you can do this instead
>>> FirstName = "kalebu"
>>> LastName = "Jordan"
>>> FirstName, LastName = LastName, FirstName
>>> print(FirstName, LastName)
('Jordan', 'kalebu')
#python #python-programming #python3 #python-tutorials #learn-python #python-tips #python-skills #python-development
1602666000
How to Remove all Duplicate Files on your Drive via Python
Today you’re going to learn how to use Python programming in a way that can ultimately save a lot of space on your drive by removing all the duplicates.
Intro
In many situations you may find yourself having duplicates files on your disk and but when it comes to tracking and checking them manually it can tedious.
Heres a solution
Instead of tracking throughout your disk to see if there is a duplicate, you can automate the process using coding, by writing a program to recursively track through the disk and remove all the found duplicates and that’s what this article is about.
But How do we do it?
If we were to read the whole file and then compare it to the rest of the files recursively through the given directory it will take a very long time, then how do we do it?
The answer is hashing, with hashing can generate a given string of letters and numbers which act as the identity of a given file and if we find any other file with the same identity we gonna delete it.
There’s a variety of hashing algorithms out there such as
- md5
- sha1
- sha224, sha256, sha384 and sha512
#python-programming #python-tutorials #learn-python #python-project #python3 #python #python-skills #python-tips
1597751700
How To Compare Tesla and Ford Company By Using Magic Methods in Python
Magic Methods are the special methods which gives us the ability to access built in syntactical features such as ‘<’, ‘>’, ‘==’, ‘+’ etc…
You must have worked with such methods without knowing them to be as magic methods. Magic methods can be identified with their names which start with __ and ends with __ like init, call, str etc. These methods are also called Dunder Methods, because of their name starting and ending with Double Underscore (Dunder).
Now there are a number of such special methods, which you might have come across too, in Python. We will just be taking an example of a few of them to understand how they work and how we can use them.
1. init
class AnyClass:
def __init__():
print("Init called on its own")
obj = AnyClass()
The first example is _init, _and as the name suggests, it is used for initializing objects. Init method is called on its own, ie. whenever an object is created for the class, the init method is called on its own.
The output of the above code will be given below. Note how we did not call the init method and it got invoked as we created an object for class AnyClass.
Init called on its own
2. add
Let’s move to some other example, add gives us the ability to access the built in syntax feature of the character +. Let’s see how,
class AnyClass:
def __init__(self, var):
self.some_var = var
def __add__(self, other_obj):
print("Calling the add method")
return self.some_var + other_obj.some_var
obj1 = AnyClass(5)
obj2 = AnyClass(6)
obj1 + obj2
#python3 #python #python-programming #python-web-development #python-tutorials #python-top-story #python-tips #learn-python
1593156510
Basic Data Types in Python | Python Web Development For Beginners
At the end of 2019, Python is one of the fastest-growing programming languages. More than 10% of developers have opted for Python development.
In the programming world, Data types play an important role. Each Variable is stored in different data types and responsible for various functions. Python had two different objects, and They are mutable and immutable objects.
Table of Contents hide
III Built-in data types in Python
Mutable objects
The Size and declared value and its sequence of the object can able to be modified called mutable objects.
Mutable Data Types are list, dict, set, byte array
Immutable objects
The Size and declared value and its sequence of the object can able to be modified.
Immutable data types are int, float, complex, String, tuples, bytes, and frozen sets.
id() and type() is used to know the Identity and data type of the object
a**=25+**85j
type**(a)**
output**:<class’complex’>**
b**={1:10,2:“Pinky”****}**
id**(b)**
output**:**238989244168
Built-in data types in Python
a**=str(“Hello python world”)****#str**
b**=int(18)****#int**
c**=float(20482.5)****#float**
d**=complex(5+85j)****#complex**
e**=list((“python”,“fast”,“growing”,“in”,2018))****#list**
f**=tuple((“python”,“easy”,“learning”))****#tuple**
g**=range(10)****#range**
h**=dict(name=“Vidu”,age=36)****#dict**
i**=set((“python”,“fast”,“growing”,“in”,2018))****#set**
j**=frozenset((“python”,“fast”,“growing”,“in”,2018))****#frozenset**
k**=bool(18)****#bool**
l**=bytes(8)****#bytes**
m**=bytearray(8)****#bytearray**
n**=memoryview(bytes(18))****#memoryview**
Numbers (int,Float,Complex)
Numbers are stored in numeric Types. when a number is assigned to a variable, Python creates Number objects.
#signed interger
age**=**18
print**(age)**
Output**:**18
Python supports 3 types of numeric data.
int (signed integers like 20, 2, 225, etc.)
float (float is used to store floating-point numbers like 9.8, 3.1444, 89.52, etc.)
complex (complex numbers like 8.94j, 4.0 + 7.3j, etc.)
A complex number contains an ordered pair, i.e., a + ib where a and b denote the real and imaginary parts respectively).
String
The string can be represented as the sequence of characters in the quotation marks. In python, to define strings we can use single, double, or triple quotes.
# String Handling
‘Hello Python’
#single (') Quoted String
“Hello Python”
# Double (") Quoted String
“”“Hello Python”“”
‘’‘Hello Python’‘’
# triple (‘’') (“”") Quoted String
In python, string handling is a straightforward task, and python provides various built-in functions and operators for representing strings.
The operator “+” is used to concatenate strings and “*” is used to repeat the string.
“Hello”+“python”
output**:****‘Hello python’**
"python "*****2
'Output : Python python ’
#python web development #data types in python #list of all python data types #python data types #python datatypes #python types #python variable type