Tout d’abord, tenez-vous absolument à la version 10gen du paquet - il est beaucoup plus probable qu’elle soit à jour que tous les référentiels de distribution.
En termes d'erreur, il semble que MongoDB installe correctement mais ne démarre pas. Vous n'avez pas mentionné la version de Linux que vous utilisez, mais comme vous utilisez apt-get, je suppose donc qu'il s'agit d'un des dérivés de Debian, ou bien de Debian elle-même.
Afin de comprendre pourquoi MongoDB ne parvient pas à démarrer, vous devrez rechercher dans les journaux MongoDB. Cela peut être différent sur votre système, mais la valeur par défaut basée sur le fichier mongod.conf de Debian serait:
/var/log/mongodb/mongodb.log
Recherchez dans ce fichier la raison pour laquelle il ne parvient pas à démarrer. N'hésitez pas à ajouter les détails à votre question et je pourrai faire un suivi sur la cause ou, si cela se passe d'explications (autorisations, espace disque, etc.), indiquez-nous simplement ce que vous avez dû faire pour la résoudre.
Enfin, notez que vous pourriez être confronté à ce bogue ouvert:
https://jira.mongodb.org/browse/SERVER-6008
Si MongoDB démarre correctement mais que la commande de service ou le script d'initialisation pense qu'il échoue, vous êtes probablement touché par ce problème.