Est-il possible d'utiliser pip pour installer un package à partir d'un référentiel GitHub privé?

J'essaie d'installer un package Python à partir d'un référentiel GitHub privé. Pour un référentiel public, je peux émettre la commande suivante qui fonctionne bien:

pip install git+git://github.com/django/django.git

Cependant, si j'essaye ceci pour un dépôt privé:

pip install git+git://github.com/echweb/echweb-utils.git

J'obtiens la sortie suivante:

Downloading/unpacking git+git://github.com/echweb/echweb-utils.git
Cloning Git repository git://github.com/echweb/echweb-utils.git to /var/folders/cB/cB85g9P7HM4jcPn7nrvWRU+++TI/-Tmp-/pip-VRsIoo-build
Complete output from command /usr/local/bin/git clone git://github.com/echweb/echweb-utils.git /var/folders/cB/cB85g9P7HM4jcPn7nrvWRU+++TI/-Tmp-/pip-VRsIoo-build:
fatal: The remote end hung up unexpectedly

Cloning into /var/folders/cB/cB85g9P7HM4jcPn7nrvWRU+++TI/-Tmp-/pip-VRsIoo-build...

----------------------------------------
Command /usr/local/bin/git clone git://github.com/echweb/echweb-utils.git /var/folders/cB/cB85g9P7HM4jcPn7nrvWRU+++TI/-Tmp-/pip-VRsIoo-build failed with error code 128

Je suppose que c'est parce que j'essaie d'accéder à un référentiel privé sans fournir d'authentification. J'ai donc essayé d'utiliser Git + en sshespérant que pip utiliserait ma clé publique SSH pour s'authentifier:

pip install git+ssh://github.com/echweb/echweb-utils.git

Cela donne la sortie suivante:

Downloading/unpacking git+ssh://github.com/echweb/echweb-utils.git
Cloning Git repository ssh://github.com/echweb/echweb-utils.git to /var/folders/cB/cB85g9P7HM4jcPn7nrvWRU+++TI/-Tmp-/pip-DQB8s4-build
Complete output from command /usr/local/bin/git clone ssh://github.com/echweb/echweb-utils.git /var/folders/cB/cB85g9P7HM4jcPn7nrvWRU+++TI/-Tmp-/pip-DQB8s4-build:
Cloning into /var/folders/cB/cB85g9P7HM4jcPn7nrvWRU+++TI/-Tmp-/pip-DQB8s4-build...

Permission denied (publickey).

fatal: The remote end hung up unexpectedly

----------------------------------------
Command /usr/local/bin/git clone ssh://github.com/echweb/echweb-utils.git /var/folders/cB/cB85g9P7HM4jcPn7nrvWRU+++TI/-Tmp-/pip-DQB8s4-build failed with error code 128

Est-ce que ce que j'essaie de réaliser est même possible? Si oui, comment faire?

Vous pouvez utiliser le git+sshschéma URI, mais vous devez définir un nom d'utilisateur:

pip install git+ssh://git@github.com/echweb/echweb-utils.git

Voyez-vous la git@partie dans l'URI?

PS: Lisez également sur les clés de déploiement .

PPS: Dans mon installation, le schéma d'URI "git + ssh" ne fonctionne qu'avec des exigences "modifiables":

pip install -e URI#egg=EggName

N'oubliez pas : changez le :caractère qui git remote -vs'imprime en /caractère avant d'utiliser l'adresse de la télécommande dans la pipcommande:

$ git remote -v
origin  git@github.com:echweb/echweb-utils.git (fetch)
                      ^ change this to a '/' character

Si vous oubliez, vous obtiendrez cette erreur:

ssh: Could not resolve hostname github.com:echweb:
         nodename nor servname provided, or not known

Comme technique supplémentaire, si vous avez cloné localement le référentiel privé, vous pouvez faire:

pip install git+file://c:/repo/directory

De façon plus moderne, vous pouvez simplement le faire (et la -evolonté signifie que vous n'avez pas à valider les modifications avant qu'elles ne soient reflétées):

pip install -e C:\repo\directory

Vous pouvez le faire directement avec l'URL HTTPS comme ceci:

pip install git+https://github.com/username/repo.git

Cela fonctionne également simplement en ajoutant cette ligne dans le fichier requirements.txt dans un projet Django , par exemple.

Il fonctionne également avec Bitbucket :

pip install git+ssh://git@bitbucket.org/username/projectname.git

Pip utilisera vos clés SSH dans ce cas.

La syntaxe du fichier d'exigences est donnée ici:

https://pip.pypa.io/en/latest/reference/pip_install.html#requirements-file-format

Ainsi, par exemple, utilisez:

-e git+http://github.com/rwillmer/django-behave#egg=django-behave

si vous voulez que la source reste après l'installation.

Ou juste

git+http://github.com/rwillmer/django-behave#egg=django-behave

si vous voulez juste qu'il soit installé.

J'ai trouvé qu'il était beaucoup plus facile d'utiliser des jetons que des clés SSH. Je n'ai pas pu trouver beaucoup de bonne documentation à ce sujet, donc je suis tombé sur cette solution principalement par essais et erreurs. De plus, l'installation à partir de pip et setuptools présente quelques différences subtiles; mais cette façon devrait fonctionner pour les deux.

GitHub n'offre pas (actuellement, en août 2016) un moyen facile d'obtenir le zip / tarball des référentiels privés. Vous devez donc pointer setuptools pour indiquer à setuptools que vous pointez vers un référentiel Git:

from setuptools import setup
import os
# Get the deploy key from https://help.github.com/articles/git-automation-with-oauth-tokens/
github_token = os.environ['GITHUB_TOKEN']

setup(
    # ...
    install_requires='package',
    dependency_links = [
    'git+https://{github_token}@github.com/user/{package}.git/@{version}#egg={package}-0'
        .format(github_token=github_token, package=package, version=master)
        ]

Quelques notes ici:

• Pour les référentiels privés, vous devez vous authentifier avec GitHub; le moyen le plus simple que j'ai trouvé est de créer un jeton OAuth , de le déposer dans votre environnement, puis de l'inclure avec l'URL
• Vous devez inclure un numéro de version (ici 0) à la fin du lien, même s'il n'y a pas de paquet sur PyPI . Ce doit être un nombre réel, pas un mot.
• Vous devez faire une préface git+pour dire à setuptools de cloner le référentiel, plutôt que de pointer un zip / tarball
• version peut être une branche, une balise ou un hachage de validation
• Vous devez fournir --process-dependency-linkssi l'installation à partir de pip

J'ai trouvé un moyen de «pip installer» automatiquement un référentiel privé GitLab qui ne nécessite aucune invite de mot de passe. Cette approche utilise GitLab "Deploy Keys" et un fichier de configuration SSH, vous pouvez donc déployer en utilisant des clés autres que vos clés SSH personnelles (dans mon cas, pour une utilisation par un 'bot). Peut-être qu'une bonne âme peut vérifier en utilisant GitHub.

Créez une nouvelle clé SSH:

ssh-keygen -t rsa -C "GitLab_Robot_Deploy_Key"

Le fichier doit apparaître sous la forme ~/.ssh/GitLab_Robot_Deploy_Keyet ~/.ssh/GitLab_Robot_Deploy_Key.pub.

Copiez et collez le contenu du ~/.ssh/GitLab_Robot_Deploy_Key.pubfichier dans la boîte de dialogue "Déployer les clés" de GitLab.

Testez la nouvelle clé de déploiement

La commande suivante indique à SSH d'utiliser votre nouvelle clé de déploiement pour configurer la connexion. En cas de succès, vous devriez obtenir le message: "Bienvenue dans GitLab, UserName!"

ssh -T -i ~/.ssh/GitLab_Robot_Deploy_Key git@gitlab.mycorp.com

Créez le fichier de configuration SSH

Ensuite, utilisez un éditeur pour créer un ~/.ssh/configfichier. Ajoutez le contenu suivant. La valeur 'Host' peut être tout ce que vous voulez (souvenez-vous-en, car vous l'utiliserez plus tard). HostName est l'URL de votre instance GitLab. IdentifyFile est le chemin d'accès au fichier de clé SSH que vous avez créé à la première étape.

Host GitLab
  HostName gitlab.mycorp.com
  IdentityFile ~/.ssh/GitLab_Robot_Deploy_Key

Pointez SSH vers le fichier de configuration

oxyum nous a donné la recette pour utiliser pip avec SSH:

pip install git+ssh://git@gitlab.mycorp.com/my_name/my_repo.git

Nous avons juste besoin de le modifier un peu pour que SSH utilise notre nouvelle clé de déploiement. Nous faisons cela en pointant SSH vers l'entrée Host dans le fichier de configuration SSH. Remplacez simplement 'gitlab.mycorp.com' dans la commande par le nom d'hôte que nous avons utilisé dans le fichier de configuration SSH:

pip install git+ssh://git@GitLab/my_name/my_repo.git

Le package doit maintenant être installé sans aucune invite de mot de passe.

Référence A
Référence B

Lors de l'installation à partir de GitHub, j'ai pu utiliser:

pip install git+ssh://git@github.com/<username>/<projectname>.git#egg=<eggname>

Mais, puisque j'ai dû exécuter pip as sudo, les clés SSH ne fonctionnaient plus avec GitHub, et "git clone" a échoué sur "Autorisation refusée (publickey)". L'utilisation git+httpsm'a permis d'exécuter la commande en tant que sudo, et que GitHub me demande mon utilisateur / mot de passe.

sudo pip install git+https://github.com/<username>/<projectname>.git#egg=<eggname>

Vous pouvez également installer une dépendance de référentiel privé via git + https: //github.com / ... URL en fournissant des informations de connexion (login et mot de passe, ou déployer un jeton) pour curl avec le .netrcfichier:

echo "machine github.com login ei-grad password mypasswordshouldbehere" > ~/.netrc
pip install "git+https://github.com/ei-grad/my_private_repo.git#egg=my_private_repo"

Si vous souhaitez installer des dépendances à partir d'un fichier d'exigences sur un serveur CI ou similaire, vous pouvez le faire:

git config --global credential.helper 'cache'
echo "protocol=https
host=example.com
username=${GIT_USER}
password=${GIT_PASS}
" | git credential approve
pip install -r requirements.txt

Dans mon cas, j'ai utilisé GIT_USER=gitlab-ci-tokenet GIT_PASS=${CI_JOB_TOKEN}.

Cette méthode présente un net avantage. Vous disposez d'un fichier d'exigences unique qui contient toutes vos dépendances.

Si vous ne souhaitez pas utiliser SSH, vous pouvez ajouter le nom d'utilisateur et le mot de passe dans l'URL HTTPS.

Le code ci-dessous suppose que vous avez un fichier appelé "pass" dans le répertoire de travail qui contient votre mot de passe.

export PASS=$(cat pass)
pip install git+https://<username>:$PASS@github.com/echweb/echweb-utils.git

la solution d'oxyum est OK pour cette réponse. Je veux juste souligner que vous devez être prudent si vous installez à l'aide de sudocar les clés doivent également être stockées pour root (par exemple,/root/.ssh ).

Ensuite, vous pouvez taper

sudo pip install git+ssh://git@github.com/echweb/echweb-utils.git

Si vous avez votre propre bibliothèque / package sur GitHub, GitLab, etc., vous devez ajouter une balise pour valider avec une version concrète de la bibliothèque, par exemple, v2.0, puis vous pouvez installer votre package:

pip install git+ssh://link/name/repo.git@v2.0

Cela fonctionne pour moi. D'autres solutions n'ont pas fonctionné pour moi.

Voici une méthode rapide qui a fonctionné pour moi. Forkez simplement le dépôt et installez-le à partir de votre propre compte GitHub avec

pip install git+https://github.com/yourName/repoName

Copiez simplement la télécommande depuis la git clonecommande d' origine (ou depuis git remote -v). Vous obtiendrez quelque chose comme ceci:

• Bitbucket: git+ssh://git@bitbucket.org:your_account/my_pro.git

• GitHub: git+ssh://git@github.com:your_account/my_pro.git

Ensuite, vous devez remplacer :par à /côté du nom de domaine.

Installez donc en utilisant:

pip install git+ssh://git@bitbucket.org/your_account/my_pro.git

Vous pouvez essayer

pip install git+git@gitlab.mycorp.com/my_name/my_repo.git

sans pour autant ssh:... . Ça marche pour moi.