(1)先計算 $\overset{\large\rightharpoonup}{AB}=(1,0,-1)$、$\overset{\large\rightharpoonup}{AC}=(0,2,1)$。
$$\overset{\large\rightharpoonup}{AB}\times\overset{\large\rightharpoonup}{AC}=\begin{vmatrix}\overset{\large\rightharpoonup}{i}&\overset{\large\rightharpoonup}{j}&\overset{\large\rightharpoonup}{k}\\1&0&-1\\0&2&1\end{vmatrix}=(2,-1,2)$$
其長度為 $\sqrt{2^2+(-1)^2+2^2}=3$。
$$\overset{\large\rightharpoonup}{AH}=\dfrac{2}{3}\overset{\large\rightharpoonup}{AB}-\dfrac{1}{3}\overset{\large\rightharpoonup}{AC}+3(\overset{\large\rightharpoonup}{AB}\times\overset{\large\rightharpoonup}{AC})$$
其中前兩項為平行平面 $E$ 的分量,第三項為垂直平面 $E$ 的分量。
因為四面體 $ABCH$ 的體積 $=\frac{1}{6}|(\overset{\large\rightharpoonup}{AB}\times\overset{\large\rightharpoonup}{AC})\cdot\overset{\large\rightharpoonup}{AH}|$,而前兩項與法向量垂直(內積為 $0$),僅第三項有貢獻:
$$(\overset{\large\rightharpoonup}{AB}\times\overset{\large\rightharpoonup}{AC})\cdot3(\overset{\large\rightharpoonup}{AB}\times\overset{\large\rightharpoonup}{AC})=3\times9=27$$
所以體積 $=\frac{27}{6}=\frac{9}{2}$。
(2)因為 $H'$ 是 $H$ 相對於平面 $E$ 的對稱點,所以平行平面的分向量不變、垂直平面的分向量反向:
$$\overset{\large\rightharpoonup}{AH'}=\dfrac{2}{3}\overset{\large\rightharpoonup}{AB}-\dfrac{1}{3}\overset{\large\rightharpoonup}{AC}-3(\overset{\large\rightharpoonup}{AB}\times\overset{\large\rightharpoonup}{AC})$$
計算平行分量:$\frac{2}{3}(1,0,-1)-\frac{1}{3}(0,2,1)=\left(\frac{2}{3},-\frac{2}{3},-1\right)$。
法向量分量變號:$-3(2,-1,2)=(-6,3,-6)$。
所以 $\overset{\large\rightharpoonup}{AH'}=\left(\frac{2}{3}-6,\;-\frac{2}{3}+3,\;-1-6\right)=\left(-\frac{16}{3},\frac{7}{3},-7\right)$。
因此 $H'=A+\overset{\large\rightharpoonup}{AH'}=(0,-1,-1)+\left(-\frac{16}{3},\frac{7}{3},-7\right)=\left(-\frac{16}{3},\frac{4}{3},-8\right)$。
(3)$H'$ 在平面 $E$ 的投影點即為 $P=A+\frac{2}{3}\overset{\large\rightharpoonup}{AB}-\frac{1}{3}\overset{\large\rightharpoonup}{AC}=(0,-1,-1)+\left(\frac{2}{3},-\frac{2}{3},-1\right)=\left(\frac{2}{3},-\frac{5}{3},-2\right)$。
將 $P$ 表示為 $A,B,C$ 的線性組合:$\overset{\large\rightharpoonup}{AP}=\frac{2}{3}\overset{\large\rightharpoonup}{AB}-\frac{1}{3}\overset{\large\rightharpoonup}{AC}$。因為 $\overset{\large\rightharpoonup}{AC}$ 的係數為負,所以 $P$ 不在 $\triangle ABC$ 的內部(內部要求所有係數非負且和不大於 $1$)。
故
(1)$\frac{9}{2}$;
(2)$\left(-\frac{16}{3},\frac{4}{3},-8\right)$;
(3)不在 $\triangle ABC$ 內部,因為投影點對 $C$ 的係數為負。