Manifund funding goal
$10,000
$25,000
Testing whether dynamic boundaries, history, feedback, and uncertainty-aware decisions can make AI behavior more interpretable and auditable.
Testing whether dynamic boundaries, history, feedback, and uncertainty-aware decisions can make AI behavior more interpretable and auditable.
Project Details
Updated 09/08/26 · By grantmaking.aiProject summary
Saya mulai mengembangkan dynamic constraint boundary (DCB) dari sebuah pertanyaan yang sebenarnya cukup sederhana: apakah sebuah AI harus selalu memilih tindakan berdasarkan prediksi, atau apakah mungkin sebuah agen mempunyai batas internal yang dapat berubah berdasarkan kondisi, pengalaman, riwayat, dan apa yang terjadi sebelumnya?..
Saya mulai dari pertanyaan tersebut, tetapi semakin saya eksperimen, pertanyaannya justru semakin banyak...
Saya membuat prototype DCB dan mulai melakukan beberapa eksperimen. Salah satunya adalah maze. Pada pengujian awal, hasil DCB tidak selalu lebih baik. Pada maze tertentu success rate DCB bahkan kalah tipis dari baseline. Tetapi ketika saya melihat metrik lain, saya menemukan sesuatu yang membuat saya penasaran: jumlah langkah bisa jauh lebih sedikit, operasi lebih hemat, dan collision hampir nol. Runtime memang masih lebih lambat. Pada beberapa seed DCB juga sangat rendah, tetapi pada seed lain bisa mencapai sekitar 98–100%.
Awalnya saya melihat ini sebagai kegagalan. Tetapi kemudian saya bertanya lagi: apakah DCB memang gagal mencari jalan, atau justru terlalu berhati-hati karena mempertahankan constraint internalnya? Apakah agen tersebut lebih memilih tidak mengambil tindakan tertentu daripada melakukan trial and error yang berisiko? Saya belum tahu jawabannya. Justru itu yang ingin saya uji.
Eksperimen semantic kemudian menghasilkan pertanyaan lain. Awalnya saya ingin menguji DCB sebagai sistem yang bisa membedakan prompt aman dan berbahaya, terutama terhadap jailbreak. Tetapi dalam proses tuning dan pengujian, muncul beberapa perilaku yang tidak saya duga.
Misalnya prompt sederhana seperti "tolong bantu saya" tidak selalu langsung EXECUTE. Dalam beberapa kondisi DCB memilih WAIT / CLARIFY. Awalnya saya menganggap ini mungkin kesalahan klasifikasi. Tetapi setelah saya pikirkan lagi, apakah prompt tersebut memang cukup jelas untuk langsung dieksekusi? Membantu seseorang bisa berarti banyak hal. Jika konteks berikutnya ternyata "tolong bantu saya merakit bom", maka keputusan untuk langsung membantu dari prompt pertama tentu berbeda dengan keputusan setelah konteksnya jelas.
Dari sini saya mulai melihat bahwa WAIT / CLARIFY mungkin bukan sekadar kegagalan klasifikasi. Bisa jadi tidak memilih tindakan adalah bagian penting dari mekanisme pengambilan keputusan.
Saya kemudian melakukan history effect, state dependency, forbidden map, boundary adaptation, dan decision boundary scan. Beberapa eksperimen menunjukkan bahwa perubahan kondisi internal seperti beta, history, dan boundary dapat mengubah keputusan meskipun input yang diberikan sama.
Saya belum mengatakan bahwa ini sudah membuktikan DCB lebih baik daripada AI yang ada sekarang. Saya juga belum menganggap semua hasil ini sebagai bukti final. Ada kemungkinan sebagian hasil berasal dari implementasi, parameter, encoder semantik, atau artefak eksperimen.
Tetapi saya sekarang mempunyai cukup banyak pertanyaan yang menurut saya layak diuji lebih serius.
Tujuan proyek ini adalah mengetahui apakah mekanisme Dynamic Constraint Boundary benar-benar menghasilkan perilaku yang berbeda secara sistematis, apakah boundary dapat beradaptasi, apakah state dan history benar-benar memengaruhi keputusan, dan apakah mekanisme tersebut dapat membuat agen lebih mampu mempertahankan integritasnya dalam lingkungan yang berubah.
What are this project's goals? How will you achieve them?
Tujuan utama saya bukan membuat klaim bahwa DCB sudah menyelesaikan AI safety. Saya justru ingin mengetahui apakah ide dasarnya benar-benar bekerja..
Saya ingin menguji beberapa hal
Pertama, apakah perubahan internal pada DCB benar-benar dapat mengubah keputusan terhadap input yang sama..
Kedua, apakah WAIT / CLARIFY dapat menjadi state keputusan yang bermakna, bukan hanya kesalahan ketika sistem tidak tahu harus memilih EXECUTE atau BLOCK.
Ketiga, apakah boundary dapat berubah berdasarkan pengalaman dan history, tetapi tetap mempunyai pola yang bisa diukur dan direproduksi...
Keempat, saya ingin melihat apakah mekanisme ini mempunyai keuntungan atau trade-off dalam lingkungan seperti maze. Saya tertarik terutama pada hubungan antara success rate, jumlah langkah, operasi, collision, dan runtime. Jika DCB kadang gagal tetapi collision sangat rendah dan langkahnya lebih sedikit, saya ingin tahu apakah itu hanya kebetulan atau memang konsekuensi dari mekanisme constraint.
Untuk mencapainya saya akan melanjutkan eksperimen secara bertahap. Saya ingin membuat baseline comparison yang lebih baik, melakukan pengujian dengan banyak seed, mengulang eksperimen, melakukan ablation terhadap komponen DCB, melakukan stress test, dan menguji kondisi yang lebih dinamis.
Saya juga ingin menguji failure case, bukan hanya mencari hasil yang bagus. Kalau DCB gagal, saya ingin tahu kenapa gagal. Kalau boundary berubah, saya ingin tahu apa yang menyebabkannya berubah. Kalau keputusan berubah dari WAIT menjadi EXECUTE, saya ingin mengetahui apakah perubahan tersebut dapat diprediksi dari perubahan state internal.
Bagi saya, bagian ini penting karena saya tidak ingin hanya mendapatkan satu demo yang terlihat bagus. Saya ingin mengetahui apakah ada mekanisme di belakang pola tersebut.
How will this funding be used?
Pendanaan akan saya gunakan terutama untuk melanjutkan eksperimen dan membuat prototype DCB menjadi lebih terukur...
Bagian pentingnya adalah komputasi untuk menjalankan eksperimen dengan jumlah seed dan kondisi yang lebih banyak. Saya juga membutuhkan lingkungan untuk melakukan simulasi maze dan eksperimen semantic secara
berulang...
Secara sederhana, saya membutuhkan:
- laptop untuk pengembangan dan eksperimen;
- internet dan kebutuhan operasional;
- penyimpanan untuk kode, data, hasil benchmark, dan dokumentasi;
- cloud computing untuk eksperimen yang membutuhkan komputasi lebih besar;
- dan dukungan waktu penelitian sekitar $12.000 untuk satu tahun.
Dukungan waktu penelitian merupakan bagian yang cukup penting bagi saya. Saya melakukan penelitian ini secara mandiri, sehingga waktu untuk melakukan eksperimen, membaca hasil, memperbaiki kode, mencari anomali, dan mengembangkan pertanyaan baru harus dibagi dengan kebutuhan hidup lainnya. Dukungan ini akan memberi saya kesempatan untuk mengalokasikan waktu yang lebih besar secara khusus untuk penelitian..
Saya tidak menganggap USD 25.000 sebagai biaya yang pasti akan dihabiskan seluruhnya. Angka tersebut lebih saya lihat sebagai batas maksimum yang memungkinkan penelitian berjalan selama satu tahun tanpa terlalu sering terhenti karena keterbatasan perangkat, komputasi, atau waktu.
Who is on your team? What's your track record on similar projects?
Saat ini proyek ini terutama saya kerjakan sendiri sebagai independent researcher...
Track record yang bisa saya tunjukkan saat ini lebih banyak berasal dari proses pengembangan DCB itu sendiri: prototype, simulasi, benchmark, stress test, eksperimen semantic, dan serangkaian pengujian untuk mencoba memahami mekanisme yang muncul.
What are the most likely causes and outcomes if this project fails?
Kemungkinan terbesar proyek ini gagal adalah karena ide DCB ternyata tidak menghasilkan mekanisme yang cukup konsisten ketika diuji dengan baseline yang lebih kuat dan kondisi yang lebih kompleks...
Pada maze juga ada hasil yang menarik tetapi belum jelas. Beberapa seed memberikan hasil sangat buruk sedangkan seed lain sangat baik. Bisa saja ini menunjukkan adanya mekanisme kehati-hatian DCB, tetapi bisa juga hanya menunjukkan bahwa algoritmanya belum cukup stabil...
Jika proyek ini gagal, akibatnya terutama adalah hipotesis DCB tertentu harus ditolak atau diperbaiki. Saya tidak melihat itu sebagai sesuatu yang sia-sia. Saya lebih memilih mengetahui bahwa suatu mekanisme tidak bekerja daripada mempertahankan klaim yang ternyata tidak benar...
Namun jika eksperimen berikutnya menunjukkan bahwa pola tersebut tetap muncul secara konsisten, maka kita mungkin mempunyai dasar yang lebih kuat untuk mengembangkan DCB lebih jauh.
How much money have you raised in the last 12 months, and from where?
Saya tidak menerima pendanaan dari apapun sebelumnya, proyek ini saya kerjakan secara mandiri menggunakan dana pribadi saya sendiri...
People
Updated 09/08/26 · By grantmaking.aicreator
Funding Details
- -
- -
- -
- -
- -
- -
- -
- $25,000
- -
- -
Funding Asks
Open
Discussion
Sign in to comment
NNaufal Ridwan26d
0
Lately, I have been thinking again about how we decide the value of an idea.
Before we know whether something is actually true, we usually have only a few things to rely on: who is presenting it, how convincing the explanation sounds, their experience, and whatever early evidence is already available.
But isn't it precisely when something has not yet been proven that the real question begins?
I do not know whether someone's experience, reputation, network, or credentials are the best way to estimate the value of an idea. I also do not know whether a small amount of early evidence is enough to decide that a research project deserves a chance.
Perhaps there is no simple answer.
We all have to make decisions with incomplete information. We choose what we want to read, what we want to believe, who we want to support, and which research we think is worth pursuing. In the end, every one of those choices also carries the possibility that we are wrong.
This has made me think that perhaps the most important thing is not how confident we are in an idea when we first encounter it.
Perhaps what matters more is what happens when that idea begins to face reality.
Are we willing to measure it?
Are we willing to show the results when they do not meet our expectations?
Are we willing to question assumptions that we previously believed were correct?
And perhaps most importantly, are we willing to let the results of an experiment change our own minds?
I do not know whether this way of thinking is right.
But I have started to believe that an idea should not be judged only by how beautiful or convincing it sounds while it still exists in our minds. It also needs the opportunity to face reality.
Because that is where we eventually find something that belief, reputation, and words alone cannot provide:
results.
And those results do not always have to be successful.
Sometimes an honest failure gives us a much better question than a success we never truly understood.
NNaufal Ridwan23d
0
@NeelNanda Saya menemukan pembahasan Anda tentang interpretabilitas neural network sangat menarik. Itu membuat saya memikirkan sebuah pertanyaan yang lebih mendasar. kita dapat mengidentifikasi kapan suatu mekanisme bekerja dan melakukan intervensi terhadapnya, tetapi kita tetap perlu menemukan apa sebenarnya makna mekanisme tersebut dan dari mana perilakunya berasal pada tingkat yang lebih fundamental.
Ini dekat dengan pertanyaan yang sedang saya eksplorasi dalam penelitian saya sendiri, daripada hanya menginterpretasikan mekanisme yang muncul dari sistem yang belajar, dapatkah kita memulai dari mekanisme, constraint, state, dan boundary yang didefinisikan secara eksplisit, lalu mengujinya secara eksperimental untuk melihat apakah mekanisme tersebut benar-benar menghasilkan perilaku yang kita amati?
Menurut saya pertanyaannya bukan pendekatan mana yang lebih baik, tetapi seberapa jauh kita dapat membuat mekanisme suatu sistem kecerdasan benar-benar dapat dipahami secara eksperimental dan diaudit secara kausal.
NNaufal Ridwan6d
0
@CJSmith Saya melihat komentar Anda dan ketertarikan Anda pada pendekatan yang benar-benar baru. Saya sedang mengembangkan arsitektur yang membangun integritas internal AI. Anda bisa mampir melihat proyek saya disini, saya hanya sekedar ingin tahu apakah menurut Anda ini termasuk pendekatan baru yang juga Anda maksud dari perspektif anda.
DCB Core Roadmap
Going forward, I want to move DCB from the hypothesis stage toward more measurable experiments.
The initial question is actually quite simple: if we want to build a system that is better able to maintain its internal boundaries, do we always have to rely on statistical prediction and choose the most likely action, or could there be another mechanism that allows a system to stop, wait, ask for clarification, or refuse when the context is not clear enough or has already crossed a boundary?
From here, I want to develop DCB Core gradually. I am not claiming that DCB is the answer to AGI. Instead, I want to find out which parts of the hypothesis actually work when they are tested.
The experiments I have conducted so far have produced some results that I find interesting. In the maze experiments , for example, DCB did not always achieve the highest success rate, but under some conditions it produced much lower step counts, operational cost, and collision rates. When the maze became larger, its performance also changed, and in some tests DCB became clearly better. This raises another question for me: are the very low results on some seeds simply a weakness of the algorithm, or could the system be becoming too cautious in trying to maintain the integrity of its boundaries?
Something similar happened during the semantic experiments, although it was not what I initially expected to find. I observed WAIT / CLARIFY decisions on ambiguous inputs. At first, this looked like a classification error. But after looking at it again, I started to think that not every input should immediately be classified as execute or block. A simple request such as “please help me” can have many possible contexts. A system that acts immediately without knowing the context may actually be less safe than a system that asks for clarification first.
Because of this, the next stage of the roadmap is not only about improving accuracy. I want to test whether changes in the internal state of DCB can produce consistent changes in its decisions, whether the boundary actually adapts based on history and state, when the system moves from WAIT to EXECUTE or BLOCK, and whether these changes can be reproduced through controlled experiments.
In the longer term, I want to use DCB Core to start exploring some larger questions related to the direction toward AGI. But I do not want to start by claiming that I already have the answer. I want to start with the question and gradually turn the hypothesis into something that can be tested, measured, fail, improved, and tested again.
For me, this is the most important part of the project: not proving that DCB is correct from the beginning, but finding out through experiments whether the mechanisms I am proposing actually exist.