Langkah-langkah penyelesaian pertidaksamaan rasional adalah sebagai berikut.
1. Ubah ruas kanan pertidaksamaan menjadi nol.
2. Jika fungsi pembilang atau penyebut berupa polinomial derajat lebih dari 1, maka faktorkan.
3. Cari titik kritis atau pembuat nol fungsi pembilang dan fungsi penyebut.
4. Gambar pada garis bilangan.
5. Lakukan pengujian daerah yang dibatasi titik kritis pada garis bilangan.
6. Tentukan himpunan penyelesaian.
Penyelesaian soal di atas adalah sebagai berikut.
−x2+2cx−5x2−6x−x2+2cx−5x(x−6)>>00
Pembuat nol penyebut, yaitu −x2+2cx−5=0.
Diskriminan dari persamaan kuadrat tersebut adalah
D===b2−4ac(2c)2−4(−1)(−5)4c2−20
Karena nilai 1<c<2 sehingga diskriminannya akan selalu negatif.
Untuk c=1 diperoleh
D=4c2−20=4⋅12−20=−16
Untuk c=2 diperoleh
D=4c2−20=4⋅22−20=−4
Fungsi penyebut dari pertidaksamaan rasional di atas mempunyai a<0 dan D<0 sehingga penyebutnya selalu bernilai negatif (definit negatif).
Diperoleh:
x2−6xx(x−6)<<00
Pembuat nol:
x(x−6)=0
x=0 atau x=6
Garis bilangan:

Diperoleh penyelesaian 0<x<6
Jika semua nilai x yang memenuhi pertidaksamaan tersebut adalah a<x<b, maka diperoleh a=0 dan b=0.
a2+b2=02+62=36
Oleh karena itu, jawaban yang tepat adalah E.