Comment récupérer des tweets depuis la ligne de commande?

Existe-t-il un moyen simple de récupérer les tweets de quelqu'un à partir de la ligne de commande?

Le compte serait public et la commande - ou le script, si nécessaire - récupérerait tout ou un nombre spécifié de tweets les plus récents dans un fichier texte, un tweet par ligne, sans les métadonnées, la plus récente de la première ligne.

Sans l'utilisation de l'API, seulement bash.

À partir d'une date de clôture, Twitter ne vous laissera pas entrer dans son API sans avoir de clé OAuth. Mais comme une solution de contournement , vous pouvez utiliser l' API de recherche. Il est RESTful, de sorte que vous pouvez utiliser curlpour obtenir des résultats de recherche au format JSON. Par exemple, si vous voulez récupérer @ tweets de java, et l' enregistrer dans un fichier ~/.tweets, cette ligne de code peut être utilisé:

curl http://search.twitter.com/search.json?q=from:java&page=1&rpp=10&callback=? >> $HOME/.tweets

Et vous pouvez analyser le fichier, en utilisant tout analyseur JSON.

Il existe des outils pour JSON analyse syntaxique de l'interface de ligne de commande. Bien que je ne l'ai jamais utilisé un, je vais mettre des liens vers des ressources pour vous aider à trouver le meilleur outil adapté:

• /programming/3858671/unix-command-line-json-parser
• http://www.conigliaro.org/2011/01/24/jazor-a-simple-command-line-json-parsing-tool/
• /programming/1955505/parsing-json-with-sed-and-awk
• http://kmkeen.com/jshon/

Et comme une petite note, il est plus rapide d'utiliser une partie Python ou Ruby (ou autres).

Si vous ne souhaitez pas utiliser l'API Twitter, vous pouvez récupérer le flux RSS du profil Twitter à l'aide d'un script bash, puis procéder au formatage à partir de là.

• /programming/8632233/read-rss-feed-using-a-shell-script

Étant donné que l'API Twitter a déprécié le flux RSS, vous pouvez contourner ce problème en générant un flux RSS à l'aide des résultats de la recherche.

Voici le flux RSS de mes tweets .

Vous devrez cependant assembler le script bash nécessaire. De la récupération du flux RSS à la mise en forme des tweets selon vos besoins.

Ceci est mon script conçu pour une utilisation d'écran de veille

#!/bin/bash

user="$1"
user="${user:=pontifex_pl}"

last_status_url=$(lynx -dump https://twitter.com/$user \
    | grep -i "$user/status/" \
    | head -1 \
    | awk '{print $2}')

lynx -dump "$last_status_url" \
    | grep 'Twitter:' -m1 -A4 \
    | tr -d '\n' \
    | sed -e 's/[^"]*"//' -e 's/".*//' \
    | tr -s ' '

echo

J'ai créé un outil qui devrait faire presque exactement ce que vous avez décrit: twitter-screen-scrape . Par défaut, il sortira en JSON, avec des métadonnées, mais il est trivial de diriger la sortie à travers quelque chose comme underscore-cli pour supprimer tout ce que vous ne voulez pas.

$ twitter-screen-scrape -u slang800 | underscore pluck text --outfmt text > outputfile

Vous pouvez suivre la route python + tweepy en:

1. Création de votre propre application Twitter (pour obtenir des clés API)
2. Créez des jetons d'accès pour votre compte Twitter
3. Utilisez un script comme celui-ci avec vos informations d'identification: https://gist.github.com/yanofsky/5436496

Je viens de le tester et cela fonctionne très bien. Il y a cependant des utilisateurs qui protègent leurs tweets, donc il se peut qu'ils ne vous permettent pas de tout télécharger. Mais c'est une caractéristique de Twitter.

La limite est toujours de 3200 et vous obtenez un fichier CSV.

Vous pouvez utiliser twarcpour donner un exemple si vous souhaitez archiver les tweets de Nassim Nicholas Taleb que vous utilisez.

twarc timeline nntaleb --format csv> taleb.csv 

Vous pouvez également utiliser d'autres formats: --format {json,csv,csv-excel}

Comment configurer twarc: La seule façon d'obtenir les tweets complets est d'utiliser APImalheureusement, même si l'application est transparente, vous devez avoir une installation et une configuration initiales, vous devez également demander le API(

Depuis juillet 2018, vous devez demander un compte de développeur Twitter et être approuvé avant de pouvoir créer de nouvelles applications.

)

Une fois que vous avez vos clés d'application, vous pouvez dire twarcce qu'elles sont avec la commande configure.

twarc configure

Cela va stocker vos informations d' identification dans un fichier appelé .twarcdans votre répertoire personnel afin que vous ne devez pas les entrer. Si vous préférez les fournir , vous pouvez directement les mettre dans l'environnement ( CONSUMER_KEY, CONSUMER_SECRET, ACCESS_TOKEN, ACCESS_TOKEN_SECRET) ou en utilisant les options de ligne de commande ( --consumer_key, --consumer_secret, --access_token, --access_token_secret).