H25秋期午後問2のように、図2のプロキシサーバやSMTPサーバはホスト名を
使用しているのに、DNSサーバはIPアドレスで設定しないといけないのでしょうか？

この場合はDNSはIPで指定しないと間違いになると思います。厳密には
ホストで指定できるなら間違いでは無いと思うのですが、多分ホストで指定
できない入力画面でそれを画面から読みとれるでしょ？的な問題かと。

SMTPとプロキシをホストで指定するのも、機器設定する際の基本のようなもの？です。
※トラブルシューティングの際はIPで入れてみたりします。

使っているパソコンがWindowsなら[Windowsキー]+[Rキー]を同時に押して、
ファイル名を指定して実行に「ncpa.cpl」を入力して、接続のプロパティから
インターネットプロトコル4/6のプロパティで、実際のNIC設定画面を見てみると
良いと思います。ホスト名で設定できません。

DNSの仕組み、Aレコード/CNAMEレコードなどを理解すれば迷わなくなるかと思います

何事も理由がある。
DNSサーバはドメイン名を解決するためのサーバ。
DNSサーバを知らなければドメイン名をIPアドレスに変換できないよね。
つまりDNSサーバはIPアドレスで指定する必要があるってこと。