Minix est un excellent choix et est décrit dans l'une des autres réponses.
Xinu
Considérez également XINU - XINU n'est pas Unix.
Is est également UNIX orthographié à l'envers.
Il y a un livre de Douglas Comer que je pensais bien écrit, bien illustré et bien scopé.
Il existe un Xinu intégré et un site Web sur l'enseignement avec Xinu.
http://xinu.mscs.mu.edu/Teaching_With_Xinu
FreeRTOS
Un autre petit système d'exploitation qui reçoit beaucoup d'amour ces jours-ci est FreeRTOS. Il fonctionne sur presque tout. Si vous venez de Mars et que vous avez un processeur ou une carte d'évaluation où il ne fonctionne pas, vous pouvez lire environ 10 pages de documentation, modifier environ cinq fichiers liés aux interruptions, aux minuteries et aux UART et vous courrez.
http://www.freertos.org/
Ils affirment qu'il prend en charge 31 architectures et 18 chaînes d'outils. Mon expérience à la fin de 2009 a été bonne et j'ai entendu dire qu'elle s'était beaucoup améliorée depuis lors.
Autres liens
Une question similaire à ce sujet pourrait vous fournir des informations utiles:
/programming/254149/how-do-you-write-a-basic-operating-system
Linux et beaucoup d'autres conceptions de systèmes d'exploitation sont influencés par UNIX, donc cette vidéo où les concepteurs originaux (Kernigan, Richie et Thompson et autres) est à la fois informative et obtient les idées de conception directement à la source.
http://techchannel.att.com/play-video.cfm/2012/2/22/AT&T-Archives-The-UNIX-System
Il existe un manuel de systèmes d'exploitation classique mais souvent révisé:
Silberschatz, Galvin, Gagne: Concepts du système d'exploitation, 7e édition
Il peut également y avoir de nouvelles éditions. Je fais rarement un lien vers un livre via un libraire, mais l'aperçu est très généreux, donc pour en savoir plus sur les systèmes d'exploitation, consultez:
http://www.amazon.com/Operating-System-Concepts-Abraham-Silberschatz/dp/0470128720