https://www.ap-siken.com/kakomon/24_aki/pm04.html
x{1－(1－x)³}yと回答したら（模範解答はx(1－(1－x)³)yでした）不正解判定されたのですが,試験では中括弧ではなく普通の括弧を二重にして書くのが模範的なのでしょうか？それとも問題のミス？細かい話ですいません

あれ、文字化けしちゃってますね。（１ーx）の3乗です

今回の件と関連するのかはわかりませんが
（プログラム言語によるのかもしれませんが）
｛｝（大かっこ）はよくブロックの括りとして利用（if文の範囲など）され
（）（かっこ）はカッコ内の優先順位的な扱いで、また計算時など、に利用されているような気がします。

今回のx(1-(1-x)3乗)yはいわゆる計算処理の過程の話なので、違和感なく、どちらも()で扱っていました。

意味が合っているかどうかはわかりませんが、感覚的な話として１つの考え方とさせていただきます。

なるほど、数学での書き方というよりプログラム言語的な感覚なんですかね。ありがとうございます