CHEKA ra đời ngày 20/12/1917 nhằm đối phó với những hoạt động bạo loạn, gây rối, phá hoại và ám sát của các cựu sĩ quan Sa hoàng và giai cấp tư sản vừa bị mất chính quyền vào tay những người Bolshevik.
Những chiến tích lớn đầu tiên của CHEKA là nhanh chóng khám phá ra thủ phạm mưu sát Lenin và phá vỡ âm mưu bạo loạn của nước ngoài phối hợp với phản động trong nước trong vụ Loccart - Savinkov. Từ đó, CHEKA nhanh chóng phát triển thành một tổ chức đặc vụ với các chức năng tình báo, phản gián, bảo vệ, bắt giữ, thẩm vấn xét xử, tống giam và thi hành án.
Căn cứ vào tình hình thay đổi cũng như nhu cầu của cuộc đấu tranh chống các thế lực thù địch đối với đất nước, tên gọi và cơ cấu bộ máy của CHEKA đã thay đổi nhiều lần. Tháng 2/1922, CHEKA được cải tổ thành Cục Chính trị quốc gia (GPU) nằm trong Bộ Nội vụ.
Tháng 7/1923, Cục Chính trị quốc gia chuyển thành Cục Chính trị quốc gia toàn liên bang (OGPU) với tư cách là một cơ quan ngang bộ. Tháng 7/1934, OGPU đổi thành Tổng cục An ninh quốc gia (GUGB) và tái sáp nhập nào Bộ Nội vụ (NKVD). Năm 1942, trong bối cảnh của cuộc chiến tranh khốc liệt, CHEKA lại tách ra độc lập và mở rộng thành Bộ An ninh quốc gia (MGB), đồng thời thành lập Cục Diệt gián điệp (Smersh) có chức năng phản gián rất lớn.
Để phù hợp với tình hình thời kì Chiến tranh Lạnh, ngày 13/3/1954, trên cơ sở MGB, Uỷ ban An ninh quốc gia (KGB) trực thuộc Hội đồng Bộ trưởng Liên Xô chính thức được thành lập với các chức năng, nhiệm vụ chủ yếu là: Tiến hành hoạt động tình báo, gián điệp đối ngoại, gồm cả những hoạt động ám sát, lật đổ, phá hoại, tuyên truyền kích động; Thực hiện công tác phản gián trong nước, kể cả theo dõi, giám sát các cơ quan quan trọng của chính phủ và quân đội; Đấu tranh với các phần tử chống đối, li khai, các nhân vật theo chủ nghĩa dân tộc và hoạt động tôn giáo bất hợp pháp; Làm công tác bảo vệ an ninh cho lãnh đạo Đảng, Nhà nước và các chính khách nước ngoài đến thăm hoặc tị nạn tại Liên Xô; Giám sát thông tin liên lạc, đảm bảo an ninh thông tin trong nước và kiểm soát theo dõi thông tin nước ngoài; Bảo vệ đường biên giới quốc gia…
Về cơ cấu, KGB có 5 tổng cục nghiệp vụ, gồm: Tổng cục I – Tổng cục Tình báo Đối ngoại; Tổng cục II – Tổng cục Phản gián; Tổng cục III – Tổng cục Biên phòng; Tổng cục IV – Tổng cục An ninh (Cảnh sát mật); Tổng cục V - Công tác với giới trí thức, thanh niên, tôn giáo, dân tộc, cấp tiến...
Bảy cục chức năng gồm Cục Quản lí quân đội (Cục 3); Cục Kĩ thuật (Cục 6); Cục Giám sát (Cục 7); Cục Quản lí thông tin (Cục 8); Cục Cảnh vệ (Cục 9); Cục Quản lí hành chính và Cục Tổ chức – Cán bộ. Năm phòng độc lập gồm Phòng Điều tra đặc biệt; Phòng Phân tích tổng hợp; Phòng Thông tin; Phòng Bảo vệ và Phòng Hồ sơ.
Ngoài ra, trực thuộc KGB còn có hệ thống khoảng 200 viện nghiên cứu và cơ sở đào tạo - huấn luyện, trong đó đáng kể nhất là Học viện Tình báo Trung ương mang tên Yu. Andropov và 7 trường đào tạo điệp viên cho 7 khối hoạt động tương ứng với 7 khu vực lớn của thế giới như khối Anh - Mỹ, khối châu Á - Thái Bình Dương, khối Đông Âu, ...
KGB là một bộ máy đặc vụ có quy mô lớn nhất thế giới. Thời kì hưng thịnh (trong những năm 1970), KGB có nguồn kinh phí hàng năm lên đến 110 tỉ USD; tổng biên chế lên đến trên 50 vạn người, trong đó riêng ở các cơ quan của Uỷ ban là 1 vạn người, trong các tổng cục nghiệp vụ khoảng 20 vạn người. Có thể nói, không có nơi nào trên thế giới mà không có dấu chân của người cán bộ KGB.
Về danh nghĩa, KGB trực thuộc Hội đồng Bộ trưởng (Chính phủ), nhưng trên thực tế nó nằm dưới sự chỉ đạo của Bộ Chính trị và đặc biệt là cá nhân Tổng Bí thư Đảng.
Sau vụ chính biến ngày 19/8/1991, KGB bị thu hẹp hầu hết các chức năng vốn có, chỉ còn là cơ quan có nhiệm vụ phối hợp hoạt động an ninh của các nước cộng hoà. Sau khi thành lập Cộng đồng các quốc gia độc lập (8/12/1991), mỗi nước thành lập cơ quan an ninh của riêng nó. Ngày 25/12/1991, Liên Xô giải thể và KGB cũng ngừng tồn tại.
Tuy nhiên, cái gì cần có thì vẫn phải có. Ngày 26/12/1991 Liên bang Nga - được xem là chủ thể thừa kế Liên Xô đã thành lập Cơ quan Tình báo Đối ngoại (SVR) trên cơ sở Tổng cục Tình báo Đối ngoại KGB. Tiếp đó, ngày 31/1/1992 thành lập Bộ An ninh quốc gia, sau này là Cơ quan An ninh Liên bang (FSB). Như vậy, dù không còn tồn tại như dưới thời Liên Xô, song KGB vẫn có người kế tục.
Hơn 70 năm đồng hành cùng đất nước Xô-viết, Ủy ban An ninh quốc gia đã hoàn thành xuất sắc nhiệm vụ “Thanh kiếm và lá chắn”, góp phần quan trọng vào công cuộc xây dựng và bảo vệ tổ quốc XHCN, nhận được sự tôn trọng của các đối thủ như CIA, SIS, MOSSAD.
Tổng thống Nga Vladimir Putin từng đánh giá: “Không phải ai cũng có thể từ bỏ cuộc sống, rời xa gia đình trong vòng nhiều năm, không phải ai cũng có thể hiến dâng cuộc đời để phụng sự quê hương đất nước như các cán bộ, chiến sĩ KGB qua các thời kỳ. Không phải ai cũng có khả năng làm được việc đó. Họ có phẩm chất, năng lực, tính cách và sự thuyết phục khác biệt so với những người bình thường. Họ là những người có một không hai”.