本发明公开了基于抗非线性SVM的几何整形单载波光子太赫兹通信系统，属于接入通信技术领域。首先光子太赫兹通信系统的发射端生成两个独立数据经过调制，得到GS‑16QAM信号。然后将驱动信号分离为实部和虚部，分别驱动IQ调制器的I和Q分支，调制激光器ECL1发出连续稳定的光载波，同时将GS‑16QAM信号调整到太赫兹频段，并在通过光外差拍频的方式产生太赫兹信号作为载波，搭载GS‑16QAM信号送入太赫兹仿真信道进行传输。在传输过程中，接收到的THz波信号经过可变光衰减器后，由UTC‑PD进行转换，最后在接收端通过DSP算法对捕获的信号进行均衡和恢复，得到光子太赫兹通信系统的输出信号。本发明提升了系统的数据传输速率和系统容量，并显著提高误码性能。