In seinem Wappen bringt der Bischof zum Ausdruck, für was er einsteht. Es ist die bildliche Darstellung seines Leitbilds, die grafische Umsetzung seines Programms.

In der Mitte des Wappens sind ein roter Fisch und ein kelchartiger Korb mit fünf Broten abgebildet. Das Motiv stammt aus einer Katakombe in Rom und erinnert zuerst an den Bericht über die Speisung der Fünftausend im Matthäusevangelium (vgl. Mt 14,13-21).

Der Fisch war darüber hinaus im frühen Christentum eine Art Geheimzeichen für Jesus Christus. Denn das griechische Wort „IXTHYS“ (= Fisch) bildet die Anfangsbuchstaben der Worte „Jesus Christus, Gottes Sohn, Heiland“.

Die Farbe Rot ist Zeichen der Liebe Jesu Christi, der sein Leben für die Menschen hingegeben hat. Der Fisch trägt einen Kelch mit Hostien. Silber als die Farbe des Lichts umgibt den Fisch. Zugleich weisen Kelch und Brote auf das Zentrum der Kirche in der Eucharistie hin. Der Dienst für die Menschen in der Nachfolge Jesu Christi sowie die Eucharistie stehen im Mittelpunkt des bischöflichen Dienstes.

Das große Wappenschild ist das Diözesanwappen. Die Farben Gold und Schwarz sind die Farben Württembergs. Das Wappenschild steht für die Tradition der Diözese Rottenburg-Stuttgart, in die sich der Bischof bewusst stellt. Der grüne Hut mit zwei mal sechs Quasten weist den Bischof aus. Das goldene Kreuz bezeichnet ihn als Bischof einer Diözese.

Das Wappenschild der Diözese trägt seit 1954 ein goldenes Kreuz auf schwarzem Grund als Zeichen des Heils. Die Farben Schwarz und Gold sind die Farben des Hauses Württemberg, an deren Grenzen sich die durch Papst Pius VII am 16.8.1821 gegründete Diözese Rottenburg anlehnt. Hinter dem Wappenschild erscheint das goldene Vortragskreuz des Bischofs, darüber der grüne Bischofshut mit zwölf grünen Quasten. 1821 wurde es als Wappen des Generalvikariats Ellwangen eingeführt und ging 1824 auf das Bistum Rottenburg über.

1954 wurde dieses Wappen neu gefertigt: An die Stelle der Mitra, des Bischofstabs und des Kreuzstabs trat der grüne Prälatenhut mit je sechs grünen Quasten auf jeder Seite über dem Schild schwebend vor einem aufrechten goldenen Vortragekreuz.

"Propter nostram salutem" - „Um unseres Heiles willen“

Seinen Wahlspruch hat Bischof Dr. Gebhard Fürst dem Großen Glaubensbekenntnis entnommen. Dort heißt es: „Propter nos homines et propter nostram salutem descendit de caelis.“ Übersetzt: „Für uns Menschen und um unseres Heiles willen ist er vom Himmel herabgestiegen.“

Diese Aussage verbindet die ganze Christenheit: Für uns Menschen ist Gott Mensch geworden. Zu unserem Heil hat Jesus Christus gelebt, gelitten und ist auferstanden. Zugleich ist sie Zusage an die Menschen: Unser Leben ist nicht zum Scheitern bestimmt. In der Nachfolge Jesu hat die Kirche den Auftrag zu heilen, zu versöhnen und dazu beizutragen, dass das Leben gelingt.

Mit der Wahl seines Wahlspruchs stellt der Bischof seinen Dienst in die heilende und befreiende Botschaft Jesu Christi.

Ring, Stab und Brustkreuz sind die traditionellen Amtszeichen des Bischofs.

Der Bischof trägt das Brustkreuz an einer Kette über dem Messgewand oder der Soutane.

Im alemannischen Raum legten die Hinterbliebenen den Verstorbenen bei der Bestattung Kreuze auf einem weißen Tuch wie einen Schleier auf den Körper, um so den gemeinsamen Glauben an Kreuz und Auferstehung Jesu Christi zu symbolisieren. Mit dem kleinen Kreuz, mit dem eine Frau vor 1.400 Jahren Zeugnis von ihrem Glauben und ihrer Hoffnung abgelegt hat, betont Bischof Fürst seine Verbundenheit mit der Diözese und der Geschichte des Glaubens der Menschen, die in ihr lebten, leben und künftig leben werden.

Der Bischofsstab besteht aus drei Teilen: Krümme, Schaft und einer abgestumpften Spitze. Sie versinnbildlichen die drei Funktionen, die der Bischof in seinem Amt wahrnimmt: Der Bischof soll versammeln und Gemeinschaft stiften. Er soll sein Amt aufrecht und geradlinig ausführen, und er soll die Gläubigen ermuntern. Allerdings soll er nicht mit Schärfe vorgehen, sondern Verständnis und Rücksicht walten lassen. Daran erinnert die abgerundete Spitze.

Der Bischofsstab wird dem Bischof bei seiner Weihe verliehen. Anschließend trägt er ihn im Gottesdienst, außer am Karfreitag und in der Totenliturgie.

Der Bischofsstab von Bischof Fürst ist aus Ebenholz gefertigt. In seine silberne, getriebene ziselierte und punzierte Krümme wurde ein Aquamarin gefasst. „Memento, homo, quia pulvis es“ „Gedenke, Mensch, Staub bist du“, ließ Bischof Fürst in den Knauf des Stabes eingravieren. Dieses Zitat aus der biblischen Sündenfallerzählung (Gen 3,19) weist auf die Endlichkeit und Vergänglichkeit allen menschlichen Tuns hin und blickt auf die Hinfälligkeit und Gefährdung, die von irdischer Macht ausgeht.

Der Bischofsring ist – in Anlehnung an den Trauring – Zeichen der Treue und Verbundenheit des Bischofs mit der Kirche. Ursprünglich hatte der Ring – ausgehend von der römisch-antiken Tradition – zunächst die Funktion eines Amts- und Siegelzeichens.

Der Pontifikalring, den Bischof Fürst im Gottesdienst trägt, ist ein ziselierter und punzierter Mantelring, in dem ein Aquamarin gefasst wurde. Der Aquamarin (lat.: aqua mare = Wasser Meer) bekam seinen Namen vor rund 2000 Jahren, da seine Farbe mit dem des Wassers der Meere verglichen wurde. Schon in der Antike wurde der Aquamarin als Heilstein, Schmuckstein und Amulett bekannt.

Nach christlichem Symbolverständnis erinnert der Stein zudem an den Apostel Thomas, der vor allem durch seine Zweifel an der Auferstehung Jesus und sein Verlangen, handgreiflich den auferstanden Leib Jesu zu überprüfen, bekannt wurde. Erst nachdem Jesus ihn aufforderte, seine Wundmale zu berühren, glaubte er und bekannte: "Mein Herr und mein Gott!"  Damit erkannte er als erster der Jünger die göttliche Natur Christi (Joh 20, 24 - 29).

Im Bischofsring sind weiterhin als Symbole für Jesus Christus zwei Fische dargestellt. Außerhalb des Gottesdienstes trägt Bischof Fürst einen kleineren Ring, der ebenfalls aus Silber gefertigt ist und das Symbol des Fisches zeigt.