즉 수신사 신사유람단 영선사의 파견, 통리기무아문의 설치가 바로 이러한 이유였는데 고종18년 김윤식이 영선사로 임명되었고 이를 계기로 온 건개화파의 실천관료로 발전해갔다. 영선사로 천진에 있던 중 일어난 임오군란은 김윤식의 영달을 가속화시켰다. 김윤식과 이홍장의 교섭으로 대원군을 몰아냈고 고종과 민비가 정권을 되찾아 김윤식에 대한 논공행상은 컸다.
그는 불과 10년에 강화유수에서 공조판서로 예조판서, 병조판서, 홍문관제불과 10년에 강화유수에서 공조판서로 예조판서, 병조판서, 홍문관 제학, 독판외무 등을 거쳐 정경판서로 승진했는데, 고종의 총애와 그의 영달은 반대세력들의 공격을 받아, 대원군의 재집권 주장을 주도한 민영익 일파의 정치적 책동에 의해 고종 24년(1887년)에는 충청도 면천으로 정배되었다. 고종 30년에 광주 유수로 임명되기까지 김윤식은 고독의 나날을 보내면서 심신의 쓰라림을 겪었다. 순탄한 정치가도에서 일시나마 궤도를 달리하는 면천의 생활과 영탑사에서 김윤식이 인생의 무상과 고독을 내용으로 한 야보법당전, 구음일률 의 시내용은 이렇다.

달빛 아래 영탑이 드높았는데
숲 속은 쓸쓸하기 가을 같구나
절과는 일찍부터 인연 깊던가
세상일 한바탕 봄꿈이로고
화성이 서로 가니 시설이 늦고
하늘에 북두칠성 보이지 않네
뜬구름 이제와서 우습고녀
얻은 것 촌사람의 대감소리

김윤식이 정치가로서보다 한 문장가로 높이 평가받는 것도 면천 귀양시절에 닦은 시작활도에서 문장력의 원숙을 더했기 때문이었는지 모른다.
소용돌이 속에 급변한 정세는 김윤식의 등장을 부채질했다.
외무대신의 자리를 맡은 김윤식은 중도의 자세를 취하려고 애썼으나 시의를 매섭게 끊지 못하는 유약한 성격으로 일본강요에 이루어진 갑신개혁의 입안자의 한사람으로 참여했고 조일 점정합동 조관, 조일맹약 3조 등의 체결 등 국권이 참식당하는 굴욕적인 조약들의 참여와 을미사변의 동조, 민비사건 등 외무대신으로서의 책임을 면할 수 없다는 일부세론에 밀려 끝내 고종34년 종신유형의 몸이 되어 제주도 귀향길에 올랐는데 이것이 두 번째의 정배다.
1907년 이완용 내각에 의해 사면되어 제주 정배에서 풀려난 김윤식은 72세 나이에 김가진, 유길준과 함께 홍사단을 조직하고 신교육에 뜻을 두어 민중계몽운동에 참여했으나 이때에 피임된 중추원 의장직이 후에 정치가로서의 평을 옳게 받지 못한 결과를 빚어냈다.
홍사단을 조직했던 김가진과 한때 대한민보라는 신문을 발행하기도 했던 김윤식은 대제학에 오르고 한일합방이라는 국가운명의 중대사를 앞에 놓고 개최된 수의에서 「불가불가」「不可不可」로 합방의 반대의사를 표시했다. 그러나 이「불가불가」는 김윤식의 유약한 정치자세를 달갑지 않게 생각했던 사람들에게 「불가불사」의 「어쩔 수 없으니 해야 한다.」의 뜻으로 합방에 찬성했다고 몰아 비난을 받게 되었으니 현세 정치인들에게도 올바른 정치관을 피력하고 행동해야 하는 교훈을 남겼다 할 것이다.
해박한 지식을 바탕으로 한 친정노선의 길을 걷게 했고 유약한 성격이 시의를 저버리지 못하고 친일의 인상을 깊게 하였지만 그의 공과를 탓하지 못함은 무슨 연유일지 거센 외세의 몰아닥침에서도 청의 이홍장과 그리고 시의에 따라 맺어진 이토 히로부미와의 친교는 정치적 수단보다는 그의 뛰어난 문장이라고 사가들은 지적하고 있다.