Il y a du vrai quand tu dis que certains vélos ont plus de rendement que d'autres.
Cela dit, certains vélos carbone d'il y a 10 ans qui étaient de vraies barres à mines trop raides pour le commun des mortels, c'est fini, a mln humble avis.
Maintenant, les vélos de série haut de gamme sont fait pour être rigide, mais pas trop, souvent nerveux, et confortables. Le rendement est optimal, et l'accessibilité souvent très très bonne pour beaucoup de cyclistes lambda.
Il faut aussi ramener les choses suivant le poids du coureur, son entraînement, etc. Certains peuvent écraser littéralement une vélo ou une paire de roue parce qu'ils sont trop lourds, sans forcément aller vite. La fatigue peut venir également de là.
Tu peux très bien souffrir sur un vélo très rigide, mais seulement au bout d'un moment, quand tu sera sec, parce que tu n'arrivera plus à déformer le cadre sur la plage d'utilisation pour laquelle il est conçu. Et là, oui, tu perd du temps. Mais ce qui fait défaut ici, ce n'est pas le vélo, c'est toi !
En revanche, tu va buter de suite, dès le départ, sur un cadre trop souple parce que ce dernier va absorber un partie des watts que tu développe sans les transmettre à la route (schématiquement). Et tu sera aussi sec à la fin de ta sortie. Bref, ton vélo fera ici défaut, davantage que ton entraînement. Ça se ressent surtout sur les vélos typés cyclotourisme ou juste très entrée de gamme, rarement sur du milieu de gamme et jamais (je pense) sur du haut de gamme.
Il faut également faire attention à avoir un couple vélo /roues optimal. Un pote a un Bianchi un peu ancien assez souple, trop d'ailleurs, et des roues vraiment rigides. La sensation qui en découle est assez curieuse, on sent le cadre "buter" sur les roues. Lui se déforme, pas elles. Du coup, rendement assez limité et pertes de vitesse, et surtout, perte de l'énergie du coureur. Ça c'est fatiguant. En revanche, les mêmes roues avec un cadre rigide, pas de soucis, et beaucoup moins de fatigue.
Bref, il faut faire attention à ne pas tout confondre, et éviter les lieux communs, car beaucoup de paramètres conditionnent un ressenti, qui peut être aussi en désaccord avec le chronomètre. L'autre jour, je me refait l'aubisque, en prévision du L de Baudreix. Un peu sec depuis le début de la sortie, je constate malgré tout avec surprise que j'ai roulé à peine moins vite que la fois précédente, où j'étais pourtant pas mal. Comme quoi...
Revenons en a ton vélo, tu as vu quoi comme modèles ? Y a-t-il des vélos sur lesquels tu as flashé ? Ça compte car au final, tu prendra celui qui te plaît le plus...

Il faut que tu affine d'abord avec la géométrie qui te conviendrait, et ensuite le type de vélo de CLM (full intégré ou non, etc.).