python-3.x 如何通过pysftp监控文件传输的进度

vom3gejh  于 2023-01-03  发布在  Python
关注(0)|答案(5)|浏览(207)

我正在使用python3.3.2和pysftp制作一个备份工具,它可以将文件的副本存储在我网络上的另一台计算机上。
我已经知道如何使用pysftp传输这些文件,但是我希望看到传输进度(每秒字节数、完成百分比、剩余时间),而不是一些静态的print语句来指示传输已开始或已完成
可能类似于以下内容(文件名:3.4MiB/s| 40%〈########============〉|剩余时间0:03:54)
编辑:如果我知道如何使用pysftp的put命令来生成信息,我可能会创建一个进度条,这就是我想知道的
编辑:我想我找到了另一个问题的答案后,广泛挖掘:
How to see (log) file transfer progress using paramiko?

14ifxucb

14ifxucb1#

get/put方法中都存在回调函数(参见官方文档)

get(remotepath, localpath=None, callback=None, preserve_mtime=False)

其中callback可能类似于:

lambda x,y: print("{} transfered out of {}".format(x,y))
kqqjbcuj

kqqjbcuj2#

您可以创建一个函数,每10%打印一次转账:

progressDict={}
progressEveryPercent=10

for i in range(0,101):
    if i%progressEveryPercent==0:
        progressDict[str(i)]=""

def printProgressDecimal(x,y):
    if int(100*(int(x)/int(y))) % progressEveryPercent ==0 and progressDict[str(int(100*(int(x)/int(y))))]=="":
        print("{}% ({} Transfered(B)/ {} Total File Size(B))".format(str("%.2f" %(100*(int(x)/int(y)))),x,y))
        progressDict[str(int(100*(int(x)/int(y))))]="1"

然后可以在get或put命令中调用该函数,如下所示:

sftp.get(eachFile,localpath=localDirectory+eachFile, callback=lambda x,y: printProgressDecimal(x,y))

输出示例为:

0.00% (32768 Transfered(B)/ 1108907068 Total File Size(B))
10.00% (110919680 Transfered(B)/ 1108907068 Total File Size(B))
20.00% (221806592 Transfered(B)/ 1108907068 Total File Size(B))
30.00% (332693504 Transfered(B)/ 1108907068 Total File Size(B))
40.00% (443580416 Transfered(B)/ 1108907068 Total File Size(B))
50.00% (554467328 Transfered(B)/ 1108907068 Total File Size(B))
60.00% (665354240 Transfered(B)/ 1108907068 Total File Size(B))
70.00% (776241152 Transfered(B)/ 1108907068 Total File Size(B))
80.00% (887128064 Transfered(B)/ 1108907068 Total File Size(B))
90.00% (998047744 Transfered(B)/ 1108907068 Total File Size(B))
100.00% (1108907068 Transfered(B)/ 1108907068 Total File Size(B))
qltillow

qltillow3#

import math, pysftp

with pysftp.Connection(host, username, password) as sftp:
    sftp.get(remotepath, localpath, callback=lambda x,y: progressbar(x,y))

def progressbar(x, y):
    ''' progressbar for the pysftp
    '''
    bar_len = 60
    filled_len = math.ceil(bar_len * x / float(y))
    percents = math.ceil(100.0 * x / float(y))
    bar = '=' * filled_len + '-' * (bar_len - filled_len)
    filesize = f'{math.ceil(y/1024):,} KB' if y > 1024 else f'{y} byte'
    sys.stdout.write(f'[{bar}] {percents}% {filesize}\r')
    sys.stdout.flush()

[============================================================] 100% 4,342 KB
xxb16uws

xxb16uws4#

如果要使用tqdm进度栏:

from tqdm import tqdm
import pysftp

class Progressbar(tqdm):
    def update_to(self, gathered: int, total: int):
        self.total = total
        self.update(gathered - self.n)

pb = Progressbar(
            desc=f"downloading {filename}",
            unit="ib",
            unit_divisor=1 << 20, #MiB
            unit_scale=True,
        )

with pysftp.Connection(host, username, password) as sftp:
    sftp.get(filename, callback=pb.update_to)
eyh26e7m

eyh26e7m5#

你可以编写自己的进度条,如果你对终端有所了解的话,这是相当简单的,或者你可以使用progressbar,下面是文档中的一个简单例子:

@example
def example1():
    widgets = ['Test: ', Percentage(), ' ', Bar(marker=RotatingMarker()),
               ' ', ETA(), ' ', FileTransferSpeed()]
    pbar = ProgressBar(widgets=widgets, maxval=10000000).start()
    for i in range(1000000):
        # do something
        pbar.update(10*i+1)
    pbar.finish()

在这两种情况下,你都需要文件传输方法在传输过程中产生一些东西,如果你能让它产生它接收到的字节,那么创建一个进度条是非常容易的。

相关问题