Este artículo continua con las diferentes formas que se tienen de descargar archivos desde con Python. En la primera parte del artículo revisamos el uso del request, wget y la descarga en forma paralela.
En esta artículo complementamos las diferentes formas de descarga de archivos con el uso de urllib, descarga utilizando un proxy y descarga desde S3 de Amazon.
Descargar archivos con una barra de progreso
La barra de progreso es un widget de interfaz de usuario del módulo del cliente. Para instalar el módulo del cliente, escriba el siguiente comando:
1 | pip install clint |
Considere el siguiente código
1 2 3 4 5 6 7 8 9 10 11 | import requests from clint.textui import progress url = 'http://do1.dr-chuck.com/pythonlearn/EN_us/pythonlearn.pdf' r = requests.get(url, stream=True) with open("LearnPython.pdf", "wb") as Pypdf: total_length = int(r.headers.get('content-length')) for ch in progress.bar(r.iter_content(chunk_size = 2391975), expected_size=(total_length/1024) + 1): if ch: Pypdf.write(ch) |
En este módulo, realizamos el import del requests, y luego, desde clint.texuti, importamos el widget de progreso. La diferencia esta en el ciclo for. Usamos el método de barra del módulo de progreso mientras escribimos el contenido del archivo.
Descarga de una página web utilizando urllib
En esta sección descargaremos una página web utilizando urllib. La biblioteca urllib es una biblioteca estandard de Python, por lo que no necesita instalarla. La siguiente línea de código puede descargar fácilemnte una página web:
1 | urllib.request.urlretrieve('url', 'path') |
Especifique la URL que quiere guardar y donde la quiere guardar
1 | urllib.request.urlretrieve('https://www.python.org/', 'c:/PythonOrganization.html') |
En este código, usamos urlretrieve método y pasó la URL de un archivo, junto con la ruta donde guardaremos el archivo. La extensión del archivo será .html.
Descarga utilizando un Proxy
Si necesita un proxy para descargar sus archivos puede utilizar ProxyHandler del módulo de urllib. Utilizando el siguiente código:
1 2 3 4 5 | import urllib.request >>> myProxy = urllib.request.ProxyHandler({'http': '127.0.0.2'}) >>> openProxy = urllib.request.build_opener(myProxy) >>> urllib.request.urlretrieve('https://www.python.org/') |
En este código, creamos el objeto proxy y abrimos el proxy invocando el método build_opener de urllib y pasamos el objeto proxy. Luego, hicimos la solicitud para recuperar la página.
Además, puede usar el módulo de solicitudes como se documenta en la documentación oficial:
1 2 3 4 | import requests myProxy = { 'http': 'http://127.0.0.2:3001' } requests.get("https://www.python.org/", proxies=myProxy) |
Simplemente importe el módulo request y cree su objeto proxy. Luego, se puede recuperar el archivo.
Usando urllib3
El urllib3 es una versión mejorada del módulo urllib. Puede descargarlo e instalarlo usando pip.
Buscaremos una página web y la almacenaremos en un archivo de texto usando urllib3. Importe los siguiente módulos:
1 | import urllib3, shutil |
El módulo shutil se usa cuando se trabaja con archivos. Ahora inicialice la variable de cadena como esta:
1 | url = 'https://www.python.org/' |
Luego, usamos el PoolManager de urllib3 que realiza un seguimiento de los grupos de conexiones necesarios, se crea el archivo filename y lueto utilizamos GET para descargar el archivo.
1 2 3 4 5 6 | c = urllib3.PoolManager() filename = "test.txt" with c.request('GET', url, preload_content=False) as res, open(filename, 'wb') as out_file: shutil.copyfileobj(res, out_file) |
Descarga de archivos de S3 utilizando Boto3
Para descargar archivos de S3, se debe utilizar el módulo Boto3 de Python. Antes de empezar se debe instalar el módulo awscli.
Para la configuración de AWS ejecute el siguiente comando:
1 2 3 4 5 6 7 | aws configure # ahora ingrese los valores solicitados AWS Access Key ID [None]: (The access key) AWS Secret Access Key [None]: (Secret access key) Default region name [None]: (Region) Default output format [None]: (Json) |
Para descargar un archivo de Amazon S3, se debe realizar el import de boto3 y botocore. Boto3 es el Amazon SDK para Python. Botocore proporciona los servicios de línea de comando para interactuar con Amazon web services.
1 2 3 4 5 6 7 8 9 | import boto3, botocore bucket = "bucketName" file_name = "filename" downloaded_file = "downloadedfilename" service = boto3.resource('s3') service.Bucket(bucket).download_file(file_name, downloaded_file) |
De esta forma realizamos la descarga de un archivo de S3.
Como observan existen muchas formas de realizar la descarga de achivos con Python. Si conoce algún otro método comentelo en los comentarios.
Este artículo se encuentra basado en Simple Examples of Downloading Files Using Python.
