Comment puis-je lire le contenu d'une URL avec Python?

Ce qui suit fonctionne lorsque je le colle sur le navigateur:

http://www.somesite.com/details.pl?urn=2344

Mais lorsque j'essaye de lire l'URL avec Python, rien ne se passe:

 link = 'http://www.somesite.com/details.pl?urn=2344'
 f = urllib.urlopen(link)           
 myfile = f.readline()  
 print myfile

Dois-je encoder l'URL ou y a-t-il quelque chose que je ne vois pas?

Pour répondre à ta question:

import urllib

link = "http://www.somesite.com/details.pl?urn=2344"
f = urllib.urlopen(link)
myfile = f.read()
print(myfile)

Vous devez read(), pasreadline()

EDIT (2018-06-25): Depuis Python 3, l'héritage a urllib.urlopen()été remplacé par urllib.request.urlopen()(voir les notes de https://docs.python.org/3/library/urllib.request.html#urllib.request.urlopen pour plus de détails) .

Si vous utilisez Python 3, consultez les réponses de Martin Thoma ou innm dans cette question: https://stackoverflow.com/a/28040508/158111 (Python 2/3 compat) https://stackoverflow.com/a/45886824 / 158111 (Python 3)

Ou, obtenez simplement cette bibliothèque ici: http://docs.python-requests.org/en/latest/ et utilisez-la sérieusement :)

import requests

link = "http://www.somesite.com/details.pl?urn=2344"
f = requests.get(link)
print(f.text)

Pour les python3utilisateurs, pour gagner du temps, utilisez le code suivant,

from urllib.request import urlopen

link = "https://docs.scipy.org/doc/numpy/user/basics.broadcasting.html"

f = urlopen(link)
myfile = f.read()
print(myfile)

Je sais qu'il existe différents threads pour l'erreur:, Name Error: urlopen is not definedmais j'ai pensé que cela pourrait gagner du temps.

Une solution fonctionnant avec Python 2.X et Python 3.X utilise la bibliothèque de compatibilité Python 2 et 3 six:

from six.moves.urllib.request import urlopen
link = "http://www.somesite.com/details.pl?urn=2344"
response = urlopen(link)
content = response.read()
print(content)

Aucune de ces réponses n'est très bonne pour Python 3 (testé sur la dernière version au moment de cet article).

Voici comment vous procédez ...

import urllib.request

try:
   with urllib.request.urlopen('http://www.python.org/') as f:
      print(f.read().decode('utf-8'))
except urllib.error.URLError as e:
   print(e.reason)

Ce qui précède concerne les contenus qui renvoient «utf-8». Supprimez .decode ('utf-8') si vous voulez que python "devine l'encodage approprié".

Documentation: https://docs.python.org/3/library/urllib.request.html#module-urllib.request

Nous pouvons lire le contenu html du site Web comme ci-dessous:

from urllib.request import urlopen
response = urlopen('http://google.com/')
html = response.read()
print(html)

#!/usr/bin/python
# -*- coding: utf-8 -*-
# Works on python 3 and python 2.
# when server knows where the request is coming from.

import sys

if sys.version_info[0] == 3:
    from urllib.request import urlopen
else:
    from urllib import urlopen
with urlopen('https://www.facebook.com/') as \
    url:
    data = url.read()

print data

# When the server does not know where the request is coming from.
# Works on python 3.

import urllib.request

user_agent = \
    'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.0.7) Gecko/2009021910 Firefox/3.0.7'

url = 'https://www.facebook.com/'
headers = {'User-Agent': user_agent}

request = urllib.request.Request(url, None, headers)
response = urllib.request.urlopen(request)
data = response.read()
print data

L'URL doit être une chaîne:

import urllib

link = "http://www.somesite.com/details.pl?urn=2344"
f = urllib.urlopen(link)           
myfile = f.readline()  
print myfile

J'ai utilisé le code suivant:

import urllib

def read_text():
      quotes = urllib.urlopen("https://s3.amazonaws.com/udacity-hosted-downloads/ud036/movie_quotes.txt")
      contents_file = quotes.read()
      print contents_file

read_text()

# retrieving data from url
# only for python 3

import urllib.request

def main():
  url = "http://docs.python.org"

# retrieving data from URL
  webUrl = urllib.request.urlopen(url)
  print("Result code: " + str(webUrl.getcode()))

# print data from URL 
  print("Returned data: -----------------")
  data = webUrl.read().decode("utf-8")
  print(data)

if __name__ == "__main__":
  main()

from urllib.request import urlopen

# if has Chinese, apply decode()
html = urlopen("https://blog.csdn.net/qq_39591494/article/details/83934260").read().decode('utf-8')
print(html)

Vous pouvez utiliser requestset beautifulsoupbibliothèques pour lire des données sur un site Web. Installez simplement ces deux bibliothèques et tapez le code suivant.

import requests
import bs4
help(requests)
help(bs4)

Vous obtiendrez toutes les informations dont vous avez besoin sur la bibliothèque.