Quoique l'opposition supposée entre poétiques de la subjectivité? (XIXe) et des poétiques formelles (XXe) traduise une prise de conscience des spécificités des discours littéraires (intransitifs et fondés sur l'ostentation du signifiant) par rapport aux discours « non littéraires » (accrochant au réel par un système paratextuel et intertextuel de plus en plus élaboré), la continuité de la définition logique de la fiction par rapport à sa définition rationaliste (discours et vrai et faux indissolublement) est évidente : le territoire de la fiction est tout ce qui se situe en dehors des balises posées par les discours référentiels-rationnels. Il s'est établi parmi les discours sur le monde une frontière qui demeurera valide jusqu'à la fin du XXe siècle. Pourtant, même si ce n'est plus la présomption que la fiction soit fausse ou mensongère qui importe, mais le fait que la fiction ne se réfère pas à des objets dans le monde réels –– ce que Schaeffer, nomme à la suite de Goodman, « vacance dénotationnelle » – ou qu'elle ne s'y réfère pas de la même manière qu'un discours « standard », la définition de la fiction reste encore négative, deux millénaires après les critiques de Platon. Un roman historique? est donc ce qui n'est pas historique, un vie imaginaire est ce qui n'est pas une biographie, un essai est ce qui n'est pas un traité, etc. Cette marginalisation de « l'espace littéraire », selon l'expression de M. Blanchot, usage esthétique, c'est-à-dire exceptionnel du langage, lié à une expérience atypique du monde, explique pourquoi son analyse incombe plus à la théorie littéraire qu'à l'épistémologie ou à l'historiographie : c'est avant tout le discours fictionnel qui est senti comme anormal ou atypique.
Bref : que l'on veuille ou non substituer une définition positive de la fiction à sa définition en creux par les sciences, que l'on adopte un a priori « séparatiste » (distinguant de manière manichéenne récit référentiel et récit fictionnel) ou au contraire « intégrationniste » (visant à nier l'existence ou la possibilité de définition d'une « frontière de la fiction »), que l'on fonde la fictionalité sur une analyse immanente et une taxinomique des textes (théories nommées par Genette « essentialistes ») ou sur une critique du jugement (théories « conditionnalistes »), toutes options qui seront parcourues par la critique durant le XXe siècle, la quête d'une double définition de la fiction et de la littérature est devenue l'objet central de la théorie littéraire moderne.
Le premier critique a en avoir senti le caractère indispensable est R. Ingarden. On doit à cet élève d'Husserl d'avoir, sous l'influence de la pragmatique naissante, tenté de fonder la spécificité de la fiction sur la nature des représentations conscientes, en proposant une distinction entre des « jugements » qui opèrent sur un monde présumé réel et des « quasi-jugements » qui n'interviennent que sur des représentations mimétiques. Il y aurait alors lieu d'opposer, sans solution de continuité au niveau des structures de conscience, les représentations fictionnelles (abstraites et inachevées) et référentielles (particulières et déterminées), en fonction des contextes pragmatiques dans lesquelles elles seraient formulées. Plus généralement, au regard de la critique phénoménologique, qui, de Merleau-Ponty à l'École de Genève, a insisté sur le primat de la conscience regardante, la fictionalité tend à s'identifier à la subjectivité de l'écrivain, et les marques de celle-ci aux traces imposées sur le réel par un ego particulier. À ce titre, cette tradition critique tend à tourner le dos à la question de la référentialité des univers fictionnels, au nom de la porosité des mondes intérieurs et extérieurs. Serait fictionnel un univers résonnant de l'intentionnalité auctoriale ou du sceau de son « intériorité » (Poulet).
L'un des apports majeurs de cette école est d'avoir ouvert la voie aux théories de la réception, qui définiront la fictionalité comme le résultat d'une relation intersubjective : il est dévolu au lecteur d'actualiser des objets virtuels et indéterminés en les référant au monde. Que la création de mondes fictionnels soit déterminée ici par une opération négative, comme pouvoir de vider l'objet de ses références, ne change rien au fait que l'évaluation de la fictionalité du texte relève encore d'un décodage des « directives » intentionnelles de l'auteur. Néanmoins, en insistant sur le rôle du lecteur dans la construction de la référence par actualisation, les travaux de l'école de Constance permettent de rendre compte de deux phénomènes bien identifiés de transgression des frontières de la fiction : la possibilité d'une décision individuelle sur la référentialité du texte (analysée comme l'assignation au réel ou au contrainte le déréférencement des entités textuelles par la subjectivité du lecteur), et, surtout, les variations historiques et anthropologiques du statut du texte fictionnel. C'est sans doute cette dernière formulation, illustrée par H. R. Jauss, qui est la plus intéressante, en tant qu'elle permet d'échapper par l'explication culturelle à la surdétermina-tion intentionnelle, d'historiciser la géographie fictionnelle et de rendre compte, par la notion d'horizon, d'attente de nombreuses discordances et variations entre les contrats textuels (explicites ou implicites) et les catégorisations prononcées.
La conception « essentialiste » de la poétique phénoménologique, fondée sur la toute-puissance des stratégies auctoriales, s'y trouve nuancée par une réflexion « conditionnaliste » sur les conditions de réception du texte. En accordant une place prépondérante au processus de lecture, l'école de Cologne rejoint la tradition anglo-saxonne dite « conventionnalisme », issue de la philosophie contractualiste de Hume et de la théorie des jeux de D. Lewis, et notamment illustrée par B. Herrnstein-Smith, qui insiste sur le pacte que noue tout lecteur avec un auteur et/ou une tradition littéraire. Dans cette perspective, les frontières de la fiction seront tracées par un arbitrage complexe entre des préconventions tacites (inhérentes, par exemple, aux genres et aux représentations sociales), des conventions implicites ou explicites propres à telle ou telle œuvre, des pratiques socio-historiques plus ou moins durcies de lecture et des hypothèses personnelles. La « bibliothèque », c'est-à-dire l'ensemble des références hypertextuelles que peut convoquer le lecteur, s'y voit attribuer un rôle au moins aussi important que le monde référentiel, car le lecteur, à l'instar d'un joueur, peut s'éduquer/être éduqué à percevoir les stratégies de l'auteur, selon des processus de collaboration qu'il incombe à la théorie littéraire d'étudier. Ici, l'identification pertinente de l'horizon référentiel du texte dépend de sa culture du lecteur et de sa qualité de lecture . La frontière de la fiction s'y définit ici dans la coordination – problématique, car soumise aux aléas historiques et psychologi-ques – de deux stratégies de maîtrise du réel. Loin d'être un processus de transmission par encryptage/décryptage, le statut référentiel du texte est déterminé par un jeu où, à l'instar des échecs, la décision n'est prise qu'au dernier coup, mais où, comme pour le jeu de go , le déplace-ment d'une seule pièce peut faire basculer l'ensemble des pièces de l'un à l'autre camp.
Renouant avec une conception rhétorique (artificielle et utilitariste) de la fiction, le conven-tionnalisme prend donc en compte les normes de l'histoire et de la tradition littéraires, au cœur d'opérations en apparence aussi naturelles que la narration, la description ou l'énonciation poétique (voir les travaux de Riffaterre, qui étendent la fiction à la poésie, le lyrisme étant vu comme une sorte de fiction énonciative), qu'il s'agisse d'insister avec désabusement sur les aspects ludiques de l'artifice littéraire ou de préparer la contre-attaque du lecteur par une ferme dénonciation des stratégies de domination auctoriales (dans la tradition française de R. Barthes et de P. Hamon en particulier). Même si elle rompt avec l'arbitraire désincarné des systèmes discursifs de la tradition saussurienne et structuraliste, cette tradition autonomise la vérité du langage et de la subjectivité par rapport à l'actualité du monde, ou, plus exactement, annexe le monde à la réalité discursive et subjective. Apte à rendre compte des grands textes « méta-culturels » (qui se définissent explicitement comme des œuvres ouvertes à une pluralité de lectures), ou encore de la littérature antique (où l'autorité des références intertextuelles prime sur toute illusion réaliste), le conventionnalisme a pour défauts de tendre à vider de ses enjeux métaphysique et éthique la fiction littéraire, et d'interdire de trouver une voie médiane entre le séparatisme et l'intégrationisme.
Le structuralisme a poussé plus loin encore le désir d'émanciper la fictionalité du texte du lecteur et de l'auteur, en faisant de la détermination statutaire un simple procès culturel. L'approche anthropologique (la fiction comme répondant à un besoin particulier de sens d'une société et renvoyant un « programme de vérité » spécifique et identifié comme tel) a vite cédé la place au démontage (à la « déconstruction ») d'enjeux idéologiques et à une vision sceptique et désabusée des rapports que peuvent entretenir, à travers la fiction, le langage et le monde. Que le langage soit, selon l'hypothèse de Derrida, indissolublement remède et poison, qu'il soit un filtre autotélique ou un instrument de pouvoir (pour Blanchot ou Paul de Man, les seules trouées vers le monde qu'offrirait la fiction seraient le ressassement ou le silence), la fiction est ici un « effet de fiction ». Réductible à une volonté de pouvoir (et non de sens ou de représentation) exprimé par l'auteur, la communauté, ou le logos lui-même, la fiction est ici, soit un piège, soit un terme englobant apte à qualifier tous les discours, dont aucun n'est finalement autre chose qu'une autre fiction (pour J.-F. Lyotard, les discours référentiels sont, on le sait, des « grands récits »). Le réel est un effet de discours, car toute parole sur les phénomènes est un champ de force organisé par des tensions idéologiques, tout discours est mensonge, ou, du moins, résolution de contraintes uniquement discursives. Cette thèse est profondément « intégrationniste », dans la mesure où elle définit les frontières de la fiction comme les limites d'un e