A.- Second fils d'une famille de six enfants, HenriGolval de Sandol-Roy vécut célibataire dans son domaine du Marais, à Couvet, et décéda à Nice, où il séjournait le 15 janvier 1961. Il laissa comme héritiers légaux les descendants d'une soeur, à savoir dame Simone de Chambrier, née Mercier, ainsi que Claude, Yves et Dominique Borel, d'une part, et son frère Jean de Sandol-Roy, d'autre part.

Désireux de maintenir aussi longtemps que possible le nom de sa famille et de lui conserver un certain lustre, le défunt avait créé par testament du 29 septembre 1933 une "Caisse de famille de Sandol-Roy" qu'il institua héritière de tous ses biens. Il désigna comme exécuteurs testamentaires "Messieurs Wavre, notaires à Neuchâtel, ensemble ou séparément". Il compléta et modifia ses dispositions de dernière volonté par sept codicilles rédigés entre le 4 décembre 1943 et le 9 octobre 1959. Il ordonna notamment quelques legs. Il inséra dans son testament une clause punitive frappant d'exhérédation quiconque attaquerait la disposition pour cause de mort. A son décès, sa fortune fut estimée à 2 750 000 fr. environ, les immeubles étant comptés à leur valeur cadastrale.

Les statuts de la caisse de famille mentionnent comme but de "subvenir aux dépenses d'éducation, d'assistance et d'entretien des membres de la famille et leur procurer un lieu de villégiature ou de convalescence". Les organes de la fondation devaient vouer un soin particulier aux orphelins mineurs. Les revenus nets de la fortune devaient être affectés chaque année, dans une proportion fixée, aux tâches suivantes: augmenter le capital, verser des fonds à des oeuvres de bienfaisance, acquérir des livres destinés à la bibliothèque et faire exécuter les portraits des représentants mâles de la famille de Sandol-Roy, payer des subventions servant à l'éducation et à l'assistance des membres de la famille. Les bénéficiaires, énumérés limitativement, étaient:

1o les mâles majeurs, orphelins de père, descendants légitimes d'Alfred de Sandol-Roy et de sa femme Ida née van den Bosch et les mâles mineurs, orphelins de père et de mère;

2o les veuves qui portent le nom de Sandol-Roy pendant leur veuvage;

3o Madame Arthur Mercier née Elisabeth de Sandol-Roy et, à sa mort, ses filles, pour une part d'un cinquième, portée à un tiers par le second codicille, du 6 décembre 1947.

Les bénéficiaires devaient jouir des prestations de la fondation en suivant l'ordre de primogéniture.

La fondation avait une durée illimitée. Elle devait être dissoute à défaut de descendants mâles d'Alfred de Sandol-Roy et si aucun descendant par la ligne féminine n'obtenait le droit de relever le nom et les armes de la famille éteinte quant aux mâles. Le domaine du Marais serait alors acquis à l'Etat de Neuchâtel ou une commune, de préférence celle de Couvet, et la fortune mobilière répartie selon les instructions du testateur.

Dans son troisième codicille, du 22 septembre 1951, Henri-Golval de Sandol-Roy a soumis sa succession au droit de son canton d'origine, Neuchâtel, qui a supprimé la réserve des frères et soeurs (art. 472 CC et 48 de la loi neuchâteloise d'introduction au CC).

B.- Par demande du 30 décembre 1961, dame Simone de Chambrier, née Mercier, ainsi qu'Yves, Claude et Dominique Borel, intentèrent à la Caisse de famille de Sandol-Roy, à Jean de Sandol-Roy, de même qu'à Frédéric, Jacques et Denis Wavre, notaires à Neuchâtel, en leur qualité d'exécuteurs testamentaires de feu Henri-Golval de Sandol-Roy, une action tendant à l'annulation du testament et des codicilles du défunt dans la mesure où ils concernent la fondation. Les demandeurs requirent en outre que la succession du défunt fût partagée selon les règles applicables aux successions ab intestat.

Les défendeurs conclurent au rejet de la demande et, reconventionnellement, à la conversion de la fondation critiquée en une substitution fidéicommissaire universelle dont Jean de Sandol-Roy serait le grevé et son fils Roland l'appelé, avec substitution vulgaire en faveur des autres bénéficiaires désignés subsidiairement par le défunt. Ils requirent également que les demandeurs fussent déclarés déchus de tous leurs droits successoraux et que les biens laissés par le défunt fussent délivrés à Jean de Sandol-Roy.

Statuant le 1er juillet 1963, le Tribunal cantonal neuchâtelois a annulé la fondation dite "Caisse de famille de Sandol-Roy", le testament olographe d'Henri-Golval de Sandol-Roy du 23 septembre 1933 dans la mesure où il concerne ladite fondation, ainsi que les codicilles no 1 du 4 décembre 1943 et no 2 du 6 décembre 1947 qui s'y rapportaient également. Le tribunal a prononcé en outre que la succession du défunt serait partagée selon les règles de la succession ab intestat.

C.- Le défendeur Jean de Sandol-Roy recourt en réforme au Tribunal fédéral en reprenant la demande de conversion en substitution fidéicommissaire. Il requiert derechef la délivrance des biens laissés par le défunt.

Les demandeurs, intimés dans l'instance de réforme, concluent au rejet du recours.

1. Le recours ne tend pas à critiquer le jugement cantonal dans la mesure où il déclare nulle, parce qu'illicite au regard de l'art. 335 CC, la fondation de famille créée par feu Henri-Golval de Sandol-Roy. Le but fixé par le défunt, à savoir procurer des subsides d'entretien aux membres désignés de sa famille, sans que les prestations soient subordonnées à l'existence d'un besoin chez les bénéficiaires, est en effet inconciliable avec la disposition légale citée (RO 73 II 86, 75 II 24 et 90). Le recourant ne demande pas non plus la conversion en une fondation ordinaire, à laquelle manquerait le but spécial exigé par la loi. En revanche, il persiste à soutenir que la fondation instituée par le testateur, nulle comme telle, devrait être convertie en une substitution fidéicommissaire.

2. Selon la doctrine et la jurisprudence, lorsqu'un acte nul remplit les conditions d'un autre acte juridique, ce dernier est valable s'il a un but et produit un résultat semblables à ceux du premier et s'il faut admettre que telle aurait été la volonté des parties dans le cas où elles auraient eu connaissance de cette nullité; toutefois, l'acte substitué ne saurait évidemment aller au-delà de celui qui était voulu par les parties et imposer à l'une ou l'autre d'entre elles des obligations plus strictes (RO 80 II 86 et références citées, notamment RO 76 II 13 consid. 5; VON TUHR/SIEGWART, Allgemeiner Teil des schweiz. OR, I, p. 217; OSER/SCHÖNENBERGER, n. 35 ad art. 11 CO). La conversion des actes juridiques se justifie d'autant plus en matière successorale que la règle du favor testamenti commande de choisir, entre deux interprétations possibles d'une disposition pour cause de mort, celle qui permet de maintenir la disposition (RO 75 II 92 in fine).

En l'espèce, le testament du 29 septembre 1933 satisfait à la forme requise pour ordonner une substitution fidéicommissaire. La capacité du testateur obéit aux mêmes règles, que la disposition pour cause de mort institue une fondation de famille ou une substitution fidéicommissaire. Il reste à examiner si les deux modes de disposer tendent au même but, d'une part, et s'il était conforme à la volonté du défunt d'atteindre ce but par le second mode, dans le cas où le premier se révélerait impraticable, d'autre part.

a) La Caisse de famille de Sandol-Roy avait pour but de "subvenir aux dépenses d'éducation, d'assistance et d'entretien des membres de la famille et leur procurer un lieu de villégiature ou de convalescence". La désignation des bénéficiaires révèle que le disposant était animé par le souci de maintenir le plus longtemps possible le nom de la famille de Sandol-Roy, en lui procurant un certain éclat grâce à la fortune considérable qu'il laissait à sa mort. Les prestations de la fondation étaient en effet destinées aux descendants mâles légitimes d'Alfred de Sandol-Roy, aux veuves portant ce nom pendant leur veuvage, à une soeur du testateur, puis ses filles et leurs enfants, mais seulement pour un tiers; à défaut de descendants mâles de la famille de Sandol-Roy, les bénéficiaires devaient être les descendants mâles par la ligne féminine, à la condition toutefois qu'ils obtiennent le droit de relever le nom et les armes de la famille; l'ordre dans lequel ils profiteraient des prestations était soigneusement fixé; si les descendants en question ne voulaient ou ne pouvaient relever le nom de Sandol-Roy dans les deux ans suivant le décès du dernier mâle qui l'avait porté, la caisse de famille devait être dissoute et la fortune répartie, selon des règles précises énoncées dans le testament, entre le dernier descendant mâle (ou le descendant en ligne féminine qui aurait relevé le nom et n'aurait pas de descendant ou son dernier descendant mâle) et l'Etat de Neuchâtel ou une commune de ce canton, de préférence la commune de Couvet. Le défunt n'a donc pas voulu gratifier ses frères comme tels (lors de la rédaction du testament, il n'avait pas encore de neveux mâles) ni par opposition à ses soeurs, mais bien comme porteurs du nom de famille de Sandol-Roy. La mention des veuves portant le même nom confirme cette interprétation.

Une substitution fidéicommissaire dont le recourant Jean de Sandol-Roy, frère du testateur, serait le grevé, et son fils Roland, neveu du disposant, l'appelé, ne conduirait pas au résultat envisagé par le défunt lorsqu'il a créé la fondation de famille. Celle-ci eût été une personne morale, propriétaire des biens qu'elle eût reçus comme héritière instituée. La fortune laissée par le testateur eût ainsi été séparée de celle des membres de la famille. En revanche, si l'on admettait la conversion de la disposition pour cause de mort en une substitution fidéicommissaire, les biens dévolus au grevé ne seraient plus distincts de son propre patrimoine et ils deviendraient finalement la propriété de l'appelé. La faculté donnée à titre subsidiaire par le défunt aux descendants par la ligne féminine de bénéficier de la fortune laissée à la fondation en relevant le nom de la famille serait exclue. Pratiquement, le respect de la volonté du disposant ne serait assuré que pour la durée d'une génération.

En outre, les droits des demandeurs et intimés au recours seraient en partie compromis. Les héritiers de l'appelé pourraient en effet demander l'annulation ou faire constater la nullité des libéralités faites par le testateur à sa soeur et aux descendants de celle-ci, transformées en legs, dans la mesure où elles lieraient une troisième génération (cf. art. 488 al. 2 et 3 CC; TUOR, 2e éd., n. 9 ad art. 488 CC et ESCHER, 3e éd., n. 4 ibid., admettent l'annulation; EGGER, 2e éd., n. 23 in fine ad art. 335 CC, se prononce en faveur de la nullité absolue du fidéicommis de famille). En outre, l'acquisition par des descendants d'Alfred de Sandol-Roy de la part des biens successoraux qui n'irait pas à l'Etat ou à la commune en cas de dissolution de la fondation serait exclue à jamais.

b) Ni le contenu du testament, ni l'attitude générale de son auteur ne permettent de dire que celui-ci aurait attribué ainsi toute sa fortune à son frère et à son neveu, s'il avait connu la nullité de la fondation de famille et l'impossibilité légale de transmettre ses biens à des personnes choisies par lui au-delà de deux générations. Il résulte au contraire des faits établis que l'intérêt du testateur allait aux porteurs du nom de Sandol-Roy et non à des personnes déterminées. De plus, il paraît invraisemblable que, placé devant l'échec total ou partiel de ses projets tendant à assurer le maintien et l'éclat du nom de sa famille, feu Henri-Golval de Sandol-Roy aurait exclu de sa succession sa soeur dame de Chambrier, dont il avait augmenté la part initiale d'un quart indiquée dans son testament à un tiers, selon le second codicille, la mettant ainsi sur un pied d'égalité avec ses deux frères. On ignore comment le défunt aurait disposé pour cause de mort, s'il avait connu la nullité de la fondation. La conversion proposée par le recourant n'est dès lors pas admissible.

3. L'annulation du testament et des codicilles dans la mesure où ils concernent la fondation de famille prohibée par la loi n'invalide pas entièrement la clause punitive frappant d'exhérédation quiconque attaquera le testament du défunt. Cette clause protège encore la désignation des exécuteurs testamentaires, qui assureront le respect de la volonté exprimée par le testateur dans les codicilles maintenus en vigueur. Elle ne saurait toutefois priver les demandeurs et intimés au recours de leur droit de succession ab intestat. Leur action était fondée en tant qu'elle visait l'annulation de la fondation de famille illicite. S'ils ont pris également des conclusions en annulation de la désignation des exécuteurs testamentaires et de la clause punitive, c'est qu'ils les tenaient pour des dispositions accessoires, dont le sort suivrait celui de la fondation. Aussi bien n'ontils attaqué que les codicilles 1 et 2, tandis qu'ils ont admis expressément la validité des codicilles 3 à 7. Ayant obtenu gain de cause dans leur action en annulation du testament créant la fondation et des codicilles se rapportant à celle-ci, ils recouvrent leur droit de succession légal. La clause punitive ne peut en effet mettre obstacle à l'introduction d'une action tendant à l'annulation d'une disposition pour cause de mort dont l'objet est illicite, et que le juge reconnaît fondée (RO 85 II 380). Le jugement entrepris échappe donc à la critique sur ce point également.

Par ces motifs, le Tribunal fédéral

Rejette le recours et confirme le jugement rendu le 1er juillet 1963 par le Tribunal cantonal neuchâtelois.