La réponse courte et simple est qu'une photographie est une forme d'expression. Je suis libre de m'exprimer tant que je ne porte pas atteinte aux droits d'autrui.
Dans le cas de quelque chose comme la photographie de rue, cela fonctionne généralement assez simplement: si je prends une photo dans un endroit où quelqu'un a une attente raisonnable en matière de vie privée, alors je porte atteinte à ses droits et je ne peux pas le faire ( sans leur autorisation). S'ils se trouvent dans un endroit où ils n'ont pas droit à la vie privée, alors je ne porte pas atteinte à leurs droits.
En le regardant dans l'autre sens, entrer dans un lieu public donne un consentement implicite à être regardé, discuté, écrit, enregistré sur vidéo, photographié, etc. ils sont invités à rester dans un endroit privé aussi longtemps qu'ils le souhaitent. Quand / s'ils choisissent d'entrer en public, ils ont renoncé à tout droit à la vie privée, et le droit des autres à la liberté d'expression devient le facteur déterminant, et une photographie n'est pas différente de toute autre forme d'expression.
Donner le sujet du discours, de l'écriture, de la photographie, de la bande vidéo, etc., le contrôle des résultats porterait atteinte à la liberté d'expression du locuteur / écrivain / photographe. Le simple fait qu'ils font l'objet de l'expression en question ne leur donne pas le droit de limiter ou de porter atteinte à la liberté d'expression d'autrui. Tenter de leur accorder un tel droit détruirait totalement la liberté de parole / d'expression.
D'un point de vue philosophique, je vois peu de différence entre publier une photographie de quelque chose de "scandaleux" ou écrire sur le même sujet. Si nous permettons au sujet de contrôler cela, c'est une courte pente glissante vers "vous ne pouvez pas parler de moi", et même "vous ne pouvez pas avoir de mauvaises pensées à mon sujet".
Edit: Comme l'a souligné @John Cavan, il y a des limites à la perte de confidentialité implicite dans les sorties en public. En particulier, ce que je rends public devient public, et ce que je garde privé reste privé. Le simple fait de sortir de chez moi ne donne bien sûr à personne le droit de regarder dans mon compte bancaire, de retirer mes vêtements pour qu'ils puissent me prendre en photo nue (pas que quiconque le voudrait dans mon cas!), dans ma maison pour voir quelles vidéos j'aime regarder, etc.